EventPoller.h
WorkThreadPool.h
EventPoller
UML
继承自TaskExecutor类，最重要的是实现async方法
结构
std::thread::id _loop_thread_id //执行事件循环的线程id
//async相关
//内部事件管道
PipeWrap _pipe;
//从其他线程切换过来的任务
std::mutex _mtx_task;
List<Task::Ptr> _list_task;
//epoll相关
int _epoll_fd = -1;
unordered_map<int, std::shared_ptr<PollEventCB> > _event_map;
//定时器相关
std::multimap<uint64_t, DelayTask::Ptr> _delay_task_map;
async/async_l
同步任务&&本对象的轮询线程调用 直接执行
异步任务 加入poller管理的任务队列，写入管道通知主线程
Task::Ptr EventPoller::async_l(TaskIn task, bool may_sync, bool first) {
TimeTicker();
if (may_sync && isCurrentThread()) {
task();
return nullptr;
}
auto ret = std::make_shared<Task>(std::move(task));
{
lock_guard<mutex> lck(_mtx_task);
if (first) {
_list_task.emplace_front(ret);
} else {
_list_task.emplace_back(ret);
}
}
//写数据到管道,唤醒主线程
_pipe.write("", 1);
return ret;
}
构造函数
自己维护一个红黑树，初始化时就加入对**管道事件(执行异步任务)**的监听
_loop_thread_id，后面会看到构造函数只会被TaskExecutorGetterImp::addPoller调用，且此时绑定的线程id并非执行epoll_wait的线程，在构造之后，会在在执行runLoop时分配一个新线程再次绑定_loop_thread_id
EventPoller::EventPoller(ThreadPool::Priority priority) {
_priority = priority;
SockUtil::setNoBlocked(_pipe.readFD());
SockUtil::setNoBlocked(_pipe.writeFD());
#if defined(HAS_EPOLL)
_epoll_fd = epoll_create(EPOLL_SIZE);
if (_epoll_fd == -1) {
throw runtime_error(StrPrinter << "创建epoll文件描述符失败:" << get_uv_errmsg());
}
SockUtil::setCloExec(_epoll_fd);
#endif //HAS_EPOLL
_logger = Logger::Instance().shared_from_this();
_loop_thread_id = this_thread::get_id();
//添加内部管道事件
if (addEvent(_pipe.readFD(), Event_Read, [this](int event) { onPipeEvent(); }) == -1) {
throw std::runtime_error("epoll添加管道失败");
}
}
onPipeEvent
没错，管道事件回调即把异步任务队列中的任务执行个编
inline void EventPoller::onPipeEvent() {
char buf[1024];
int err = 0;
do {
if (_pipe.read(buf, sizeof(buf)) > 0) {
continue;
}
err = get_uv_error(true);
} while (err != UV_EAGAIN);
decltype(_list_task) _list_swap;
{
lock_guard<mutex> lck(_mtx_task);
_list_swap.swap(_list_task);
}
_list_swap.for_each([&](const Task::Ptr &task) {
try {
(*task)();
} catch (ExitException &) {
_exit_flag = true;
} catch (std::exception &ex) {
ErrorL << "EventPoller执行异步任务捕获到异常:" << ex.what();
}
});
}
epoll_ctl
socket中可以看到，对应的回调函数都有一个socket实例的弱指针，回调中可以操作socket的所有！
EPOLL_CTL_ADD
typedef union epoll_data
{
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event
{
uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
} __EPOLL_PACKED;
并没有使用epoll_event.data.ptr来存放回调的数据，而是_event_map保存对应的fd对应的回调
int EventPoller::addEvent(int fd, int event, PollEventCB cb) {
TimeTicker();
if (!cb) {
WarnL << "PollEventCB 为空!";
return -1;
}
if (isCurrentThread()) {
#if defined(HAS_EPOLL)
struct epoll_event ev = {0};
ev.events = (toEpoll(event)) | EPOLLEXCLUSIVE;
ev.data.fd = fd;
int ret = epoll_ctl(_epoll_fd, EPOLL_CTL_ADD, fd, &ev);
if (ret == 0) {
_event_map.emplace(fd, std::make_shared<PollEventCB>(std::move(cb)));
}
return ret;
#endif //HAS_EPOLL
}
async([this, fd, event, cb]() {
addEvent(fd, event, std::move(const_cast<PollEventCB &>(cb)));
});
return 0;
}
看到这里回顾之前的socket部分，socket连接之后进入工作状态的回调onRead|onWrite|emitErr，其实也是同理，事件来了，来了做什么，socket对象自己是知道的。实际上socket对象真正对应的读写等事件的cb，是我们根据session具体类型指定的。
这就是大多数网络框架留出来的让用户自定义的onXXX回调部分，即处理业务逻辑的部分
bool Socket::attachEvent(const SockFD::Ptr &sock, bool is_udp) {
weak_ptr<Socket> weak_self = shared_from_this();
weak_ptr<SockFD> weak_sock = sock;
_enable_recv = true;
_read_buffer = _poller->getSharedBuffer();
int result = _poller->addEvent(sock->rawFd(), EventPoller::Event_Read | EventPoller::Event_Error | EventPoller::Event_Write, [weak_self,weak_sock,is_udp](int event) {
auto strong_self = weak_self.lock();
auto strong_sock = weak_sock.lock();
if (!strong_self || !strong_sock) {
return;
}
if (event & EventPoller::Event_Read) {
strong_self->onRead(strong_sock, is_udp);
}
if (event & EventPoller::Event_Write) {
strong_self->onWriteAble(strong_sock);
}
if (event & EventPoller::Event_Error) {
strong_self->emitErr(getSockErr(strong_sock));
}
});
return -1 != result;
}
EPOLL_CTL_DEL/EPOLL_CTL_MOD
和epoll_ctl_add相同，只不过没有del的回调没有存，没必要。mod对应的也只是修改event类型，没有对_event_map进行操作
runLoop
跑不了reactor模型的范式，在就绪事件里调用对应的回调(回调放在了_event_map中，没有给内核event.data.ptr传指针，自己管理自己维护)
特别的是，blocked设置调用是否阻塞，master线程调用不能阻塞，则会else中新开一个线程，开好之后，通过信号量通知进度
void EventPoller::runLoop(bool blocked, bool ref_self) {
if (blocked) {
ThreadPool::setPriority(_priority);
lock_guard<mutex> lck(_mtx_running);
_loop_thread_id = this_thread::get_id();
if (ref_self) {
s_current_poller = shared_from_this();
}
_sem_run_started.post();
_exit_flag = false;
uint64_t minDelay;
#if defined(HAS_EPOLL)
struct epoll_event events[EPOLL_SIZE];
while (!_exit_flag) {
minDelay = getMinDelay();
startSleep();//用于统计当前线程负载情况
int ret = epoll_wait(_epoll_fd, events, EPOLL_SIZE, minDelay ? minDelay : -1);
sleepWakeUp();//用于统计当前线程负载情况
if (ret <= 0) {
//超时或被打断
continue;
}
for (int i = 0; i < ret; ++i) { //reactor范式
struct epoll_event &ev = events[i];
int fd = ev.data.fd;
auto it = _event_map.find(fd);
if (it == _event_map.end()) {
epoll_ctl(_epoll_fd, EPOLL_CTL_DEL, fd, nullptr);
continue;
}
auto cb = it->second;
try {
(*cb)(toPoller(ev.events));
} catch (std::exception &ex) {
ErrorL << "EventPoller执行事件回调捕获到异常:" << ex.what();
}
}
}
} else {
_loop_thread = new thread(&EventPoller::runLoop, this, true, ref_self);
_sem_run_started.wait();
}
}
static thread_local std::weak_ptr<EventPoller> s_current_poller; ref_self是否引用自己，给线程中执行的开了一个口子，可以操作当前的线程的poller.
thread_local 关键字修饰的变量具有线程（thread）周期，这些变量在线程开始的时候被生成，在线程结束的时候被销毁，并且每一个线程都拥有一个独立的变量实例。
EventPoller::Ptr EventPoller::getCurrentPoller() {
return s_current_poller.lock();
}
getMinDelay 执行定时任务/设定epoll的超时等待时间
flushDelayTask
执行到期的的定时任务，如果需要循环执行，再次加入一个定时任务
距离下一个定时任务还有多久设计为epoll_wait的超时等待时间
uint64_t EventPoller::flushDelayTask(uint64_t now_time) {
decltype(_delay_task_map) task_copy;
task_copy.swap(_delay_task_map);
for (auto it = task_copy.begin(); it != task_copy.end() && it->first <= now_time; it = task_copy.erase(it)) {
//已到期的任务
try {
auto next_delay = (*(it->second))();
if (next_delay) {
//可重复任务,更新时间截止线
_delay_task_map.emplace(next_delay + now_time, std::move(it->second));
}
} catch (std::exception &ex) {
ErrorL << "EventPoller执行延时任务捕获到异常:" << ex.what();
}
}
task_copy.insert(_delay_task_map.begin(), _delay_task_map.end());
task_copy.swap(_delay_task_map);
auto it = _delay_task_map.begin();
if (it == _delay_task_map.end()) {
//没有剩余的定时器了
return 0;
}
//最近一个定时器的执行延时
return it->first - now_time;
}
添加定时任务，会异步执行，引起管道事件，即往定时列表中添加定时任务。poller一直在runloop怎么添加的，所以异步执行时，会判断是否是当前poller线程，不是就写管道通知来活了
EventPoller::DelayTask::Ptr EventPoller::doDelayTask(uint64_t delay_ms, function<uint64_t()> task) {
DelayTask::Ptr ret = std::make_shared<DelayTask>(std::move(task));
auto time_line = getCurrentMillisecond() + delay_ms;
async_first([time_line, ret, this]() {
//异步执行的目的是刷新select或epoll的休眠时间
_delay_task_map.emplace(time_line, ret);
});
return ret;
}
Any/AnyStorage
任意对象void*类型的问题在于，当delete时，能不能获得对应的类型，正确的执行析构。shared_ptr的第二个参数允许我们传入deletor，解决这个问题
//可以保存任意的对象
class Any{
public:
using Ptr = std::shared_ptr<Any>;
Any() = default;
~Any() = default;
template <typename C,typename ...ArgsType>
void set(ArgsType &&...args){
_data.reset(new C(std::forward<ArgsType>(args)...),[](void *ptr){
delete (C*) ptr;
});
}
template <typename C>
C& get(){
if(!_data){
throw std::invalid_argument("Any is empty");
}
C *ptr = (C *)_data.get();
return *ptr;
}
operator bool() {
return _data.operator bool ();
//std::shared_ptr<T>::operator bool true if *this stores a pointer, false otherwise.
}
bool empty(){
return !bool();
}
private:
std::shared_ptr<void> _data;
};
//用于保存一些外加属性
class AnyStorage : public std::unordered_map<std::string,Any>{
public:
AnyStorage() = default;
~AnyStorage() = default;
using Ptr = std::shared_ptr<AnyStorage>;
};
shared_ptr<void>确实会记录传入的类型，因此析构时能够正确执行。
但是如果传入的是父类指针，就体现了析构函数虚函数的重要性
#include <memory>
#include <iostream>
#include <vector>
class test {
public:
test() {
std::cout << "Test created" << std::endl;
}
virtual ~test() {
std::cout << "Test destroyed" << std::endl;
}
};
class test1: public test
{
public:
test1()
{
std::cout << "Test1 created" << std::endl;
}
~test1()
{
std::cout<< "Test1 destroyed"<< std::endl;
}
};
int main() {
std::cout << "At begin of main.\ncreating std::vector<std::shared_ptr<void>>"
<< std::endl;
std::vector<std::shared_ptr<void>> v;
{
std::cout << "Creating test" << std::endl;
v.push_back( std::shared_ptr<test>( (test*)new test1() ) );//传入的是test类型的指针，如果没有virtual不会执行test1的析构
v.push_back( std::shared_ptr<test>( new test1() ) ); //传入的是test1类型的指针，即使没有virtual也能正确调用
std::cout << "Leaving scope" << std::endl;
}
std::cout << "Leaving main" << std::endl;
return 0;
}
EventPollerPool
UML
INSTANCE_IMP(EventPollerPool)
#define INSTANCE_IMP(class_name, ...) \
class_name &class_name::Instance() { \
static std::shared_ptr<class_name> s_instance(new class_name(__VA_ARGS__)); \
static class_name &s_instance_ref = *s_instance; \
return s_instance_ref; \
}
// 声明一个单例，智能指针管理生命周期
EventPollerPool &EventPollerPool::Instance()
{
static std::shared_ptr<EventPollerPool> s_instance(new EventPollerPool());
static EventPollerPool &s_instance_ref = *s_instance;
return s_instance_ref;
}
EventPollerPool::EventPollerPool() {
auto size = addPoller("event poller", s_pool_size, ThreadPool::PRIORITY_HIGHEST, true);
InfoL << "创建EventPoller个数:" << size;
}
在池单例的构造函数中，调用TaskExecutorGetter的addPoller方法
EventPoller::Ptr EventPollerPool::getFirstPoller() {
return dynamic_pointer_cast<EventPoller>(_threads.front());
}
//根据负载情况获取轻负载的实例 如果优先返回当前线程，那么会返回当前线程 返回当前线程的目的是为了提高线程安全性
EventPoller::Ptr EventPollerPool::getPoller(bool prefer_current_thread) {
auto poller = EventPoller::getCurrentPoller();
if (prefer_current_thread && _prefer_current_thread && poller) {
return poller;
}
return dynamic_pointer_cast<EventPoller>(getExecutor());
}
/**
* 设置 getPoller() 是否优先返回当前线程
* 在批量创建Socket对象时，如果优先返回当前线程，
* 那么将导致负载不够均衡，所以可以暂时关闭然后再开启
* @param flag 是否优先返回当前线程
*/
void EventPollerPool::preferCurrentThread(bool flag) {
_prefer_current_thread = flag;
}
WorkThreadPool
长得和EventPoller一样…唯一不同在于线程优先级不同 PRIORITY_LOWEST ，EventPollerPool对应的线程优先级PRIORITY_HIGHEST
总结
-
如何实现一个可以存储任意类型的Any结构，对应的资源释放怎么管理，shared_ptr, 析构函数虚函数的重要性
-
thread_local 具有线程周期，这些变量在线程开始的时候被生成，在线程结束的时候被销毁，并且每一个线程都拥有一个独立的变量实例
-
对于异步任务执行的实现，pipe事件监听+带锁的异步任务队列
-
如果添加定时任务，如何在epoll_wait的循环中不错过定时任务，如何处理定时任务
-
多个poller线程的负载均衡怎么做的 (没有什么高大上，记录wait和run的时间，选择空闲比最小的)
624
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
