Libevent源码分析-----跨平台Reactor接口的实现

最新推荐文章于 2021-09-18 21:17:11 发布
最新推荐文章于 2021-09-18 21:17:11 发布
阅读量210 收藏
点赞数
分类专栏： Libevent Libevent 文章标签： libevent

 

        之前的博文讲了怎么实现线程、锁、内存分配、日志等功能的跨平台。Libevent最重要的跨平台功能还是实现了多路IO接口的跨平台(即Reactor模式)。这使得用户可以在不同的平台使用统一的接口。这篇博文就是来讲解Libevent是怎么实现这一点的。

        Libevent在实现线程、内存分配、日志时，都是使用了函数指针和全局变量。在实现多路IO接口上时，Libevent也采用了这种方式，不过还是有点差别的。

 

 

相关结构体：

        现在来看一下event_base结构体，下面代码只列出了本文要讲的内容：

//event-internal.h文件

struct event_base {

const struct eventop *evsel;

void *evbase;


…

};

struct eventop {

const char *name; //多路IO复用函数的名字


void *(*init)(struct event_base *);


int (*add)(struct event_base *, evutil_socket_t fd, short old, short events, void *fdinfo);

int (*del)(struct event_base *, evutil_socket_t fd, short old, short events, void *fdinfo);

int (*dispatch)(struct event_base *, struct timeval *);

void (*dealloc)(struct event_base *);


int need_reinit; //是否要重新初始化

//多路IO复用的特征。参考http://blog.csdn.net/luotuo44/article/details/38443569

enum event_method_feature features;

size_t fdinfo_len; //额外信息的长度。有些多路IO复用函数需要额外的信息

};

        可以看到event_base结构体中有一个struct eventop类型指针。而这个struct eventop结构体的成员就是一些函数指针。名称也像一个多路IO复用函数应该有的操作：add可以添加fd，del可以删除一个fd，dispatch可以进入监听。明显只要给event_base的evsel成员赋值就能使用对应的多路IO复用函数了。

 

选择后端：

 

可供选择的后端：

        现在来看一下有哪些可以用的多路IO复用函数。其实在Libevent的源码目录中，已经为每一个多路IO复用函数专门创建了一个文件，如select.c、poll.c、epoll.c、kqueue.c等。

        打开这些文件就可以发现在文件的前面都会声明一些多路IO复用的操作函数，而且还会定义一个struct eventop类型的全局变量。如下面代码所示：

//select.c文件

static void *select_init(struct event_base *);

static int select_add(struct event_base *, int, short old, short events, void*);

static int select_del(struct event_base *, int, short old, short events, void*);

static int select_dispatch(struct event_base *, struct timeval *);

static void select_dealloc(struct event_base *);


const struct eventop selectops = {

"select",

select_init,

select_add,

select_del,

select_dispatch,

select_dealloc,

0, /* doesn't need reinit. */

EV_FEATURE_FDS,

0,

};


//poll.c文件

static void *poll_init(struct event_base *);

static int poll_add(struct event_base *, int, short old, short events, void *_idx);

static int poll_del(struct event_base *, int, short old, short events, void *_idx);

static int poll_dispatch(struct event_base *, struct timeval *);

static void poll_dealloc(struct event_base *);


const struct eventop pollops = {

"poll",

poll_init,

poll_add,

poll_del,

poll_dispatch,

poll_dealloc,

0, /* doesn't need_reinit */

EV_FEATURE_FDS,

sizeof(struct pollidx),

};


 

       

如何选定后端：

        看到这里，读者想必已经知道，只需将对应平台的多路IO复用函数的全局变量赋值给event_base的evsel变量即可。可是怎么让Libevent根据不同的平台选择不同的多路IO复用函数呢？另外像大部分OS都会实现select、poll和一个自己的高效多路IO复用函数。怎么从多个中选择一个呢？下面看一下Libevent的解决方案吧：

//event.c文件

#ifdef _EVENT_HAVE_EVENT_PORTS

extern const struct eventop evportops;

#endif

#ifdef _EVENT_HAVE_SELECT

extern const struct eventop selectops;

#endif

#ifdef _EVENT_HAVE_POLL

extern const struct eventop pollops;

#endif

#ifdef _EVENT_HAVE_EPOLL

extern const struct eventop epollops;

#endif

#ifdef _EVENT_HAVE_WORKING_KQUEUE

extern const struct eventop kqops;

#endif

#ifdef _EVENT_HAVE_DEVPOLL

extern const struct eventop devpollops;

#endif

#ifdef WIN32

extern const struct eventop win32ops;

#endif


/* Array of backends in order of preference. */

static const struct eventop *eventops[] = {

#ifdef _EVENT_HAVE_EVENT_PORTS

&evportops,

#endif

#ifdef _EVENT_HAVE_WORKING_KQUEUE

&kqops,

#endif

#ifdef _EVENT_HAVE_EPOLL

&epollops,

#endif

#ifdef _EVENT_HAVE_DEVPOLL

&devpollops,

#endif

#ifdef _EVENT_HAVE_POLL

&pollops,

#endif

#ifdef _EVENT_HAVE_SELECT

&selectops,

#endif

#ifdef WIN32

&win32ops,

#endif

NULL

};

        它根据宏定义判断当前的OS环境是否有某个多路IO复用函数。如果有，那么就把与之对应的struct eventop结构体指针放到一个全局数组中。有了这个数组，现在只需将数组的某个元素赋值给evsel变量即可。因为是条件宏，在编译器编译代码之前完成宏的替换，所以是可以这样定义一个数组的。关于这些检测当前OS环境的宏，可以参考《event-config.h指明所在系统的环境》。

        从数组的元素可以看到，低下标存的是高效多路IO复用函数。如果从低到高下标选取一个多路IO复用函数，那么将优先选择高效的。

 

具体实现：

        现在看一下Libevent是怎么选取一个多路IO复用函数的：

//event.c文件

struct event_base *

event_base_new_with_config(const struct event_config *cfg)

{

int i;

struct event_base *base;

int should_check_environment;


//分配并清零event_base内存. event_base里的所有成员都会为0

if ((base = mm_calloc(1, sizeof(struct event_base))) == NULL) {

event_warn("%s: calloc", __func__);

return NULL;

}


...

should_check_environment =

!(cfg && (cfg->flags & EVENT_BASE_FLAG_IGNORE_ENV));

//遍历数组的元素

for (i = 0; eventops[i] && !base->evbase; i++) {

if (cfg != NULL) {

/* determine if this backend should be avoided */

if (event_config_is_avoided_method(cfg,

eventops[i]->name))

continue;

if ((eventops[i]->features & cfg->require_features)

!= cfg->require_features)

continue;

}


/* also obey the environment variables */

if (should_check_environment &&

event_is_method_disabled(eventops[i]->name))

continue;


//找到了一个满足条件的多路IO复用函数

base->evsel = eventops[i];


//初始化evbase，后面会说到

base->evbase = base->evsel->init(base);

}


if (base->evbase == NULL) {

event_warnx("%s: no event mechanism available",

__func__);

base->evsel = NULL;

event_base_free(base);

return NULL;

}


....


return (base);

}

        可以看到，首先从eventops数组中选出一个元素。如果设置了event_config，那么就对这个元素(即多路IO复用函数)特征进行检测，看其是否满足event_config所描述的特征。关于event_config，可以查看《多路IO复用函数的选择配置》。

 

 

后端数据存储结构体：

        在本文最前面列出的event_base结构体中，除了evsel变量外，还有一个evbase变量。这也是一个很重要的变量，而且也是用于跨平台的。

        像select、poll、epoll之类多路IO复用函数在调用时要传入一些数据，比如监听的文件描述符fd，监听的事件有哪些。在Libevent中，这些数据都不是保存在event_base这个结构体中的，而是存放在evbase这个指针指向的一个结构体中。

 

IO复用结构体：

        由于不同的多路IO复用函数需要使用不同格式的数据，所以Libevent为每一个多路IO复用函数都定义了专门的结构体(即结构体是不同的)，本文姑且称之为IO复用结构体。evbase指向的就是这些结构体。由于这些结构体是不同的，所以要用一个void类型指针。

        在select.c、poll.c这类文件中都定义了属于自己的IO复用结构体，如下面代码所示：

//select.c文件

struct selectop {

int event_fds; /* Highest fd in fd set */

int event_fdsz;

int resize_out_sets;

fd_set *event_readset_in;

fd_set *event_writeset_in;

fd_set *event_readset_out;

fd_set *event_writeset_out;

};


//poll.c文件

struct pollop {

int event_count; /* Highest number alloc */

int nfds; /* Highest number used */

int realloc_copy; /* True iff we must realloc

* event_set_copy */

struct pollfd *event_set;

struct pollfd *event_set_copy;

};


        前面event_base_new_with_config的代码中，有下面一行代码：

 

base->evbase = base->evsel->init(base);

        明显这行代码就是用来赋值evbase的。下面是poll对应的init函数：

//poll.c文件

static void *

poll_init(struct event_base *base)

{

struct pollop *pollop;


if (!(pollop = mm_calloc(1, sizeof(struct pollop))))

return (NULL);


evsig_init(base);//其他的一些初始化


return (pollop);

}

 

 

        经过上面的一些处理后，Libevent在特定的OS下能使用到特定的多路IO复用函数。在之前博文中说到的evmap_io_add和evmap_signal_add函数中都会调用evsel->add。由于在新建event_base时就选定了对应的多路IO复用函数，给evsel、evbase变量赋值了，所以evsel->add能把对应的fd和监听事件加到对应的IO复用结构体保存。比如poll的add函数在一开始就有下面一行代码：

 

struct pollop*pop = base->evbase;

 

        当然，poll的其他函数在一开始时也是会有这行代码的，因为要使用到fd和对应的监听事件等数据，就必须要获取那个IO复用结构体。

        由于有evsel和evbase这个两个指针变量，当初始化完成之后，再也不用担心具体使用的多路IO复用函数是哪个了。evsel结构体的函数指针提供了统一的接口，上层的代码要使用到多路IO复用函数的一些操作函数时，直接调用evsel结构体提供的函数指针即可。也正是如此，Libevent实现了统一的跨平台Reactor接口。 --------------------- 本文来自 luotuo44 的CSDN 博客 ，全文地址请点击：https://blog.csdn.net/luotuo44/article/details/38458469?utm_source=copy

amoscykl
关注
专栏目录
libevent源码跨平台编译(windows/macos/linux)
06-02 778
使用管理员身份运行powershell进入build目录执行cmake --install . 进行安装。生成编译配置成功,已支持OpenSSL,MbedTLS,Zlib 这三个库。默认不支持OpenSSL,MbedTLS,ZLIB这三个库。已支持OpenSSL,MbedTLS,ZLIB库。重新生成libevent工程的makefile,重新生成libevent工程的makefile,增加使用Winget安装OpenSSL。编译MbedTLS库时记得加上。开始编译libevent。下载完成会自动运行安装。
LIBEVENT事件驱动库(跨平台)介绍
Welcome to Radish Blog
12-10 174
libevent 是一个强大的跨平台的事件通知库，如果不想被多线程困扰，可以考虑这个平台，它从1.2.* 版本开始支持轻量级的http server 开发支持，随后陆续还推出轻量级 DNS server、RPC server 开发支持，网络上目前可参考的代码不多，希望可以给网友提供一些帮助 LIBEVENT的功能: 这组事件API提供了一种当某个指定文件描述符有效或时间到达时执行某个函数的机制....
event_base 结构
啦啦啦
02-23 540
event_base 结构 上一节我们具体分析了关于event结构, 其中涉及到了event_base所以本节就来分析与event同样重要的结构. event_base也就是Reactor模式中的反应器, 就是管理整个事件的注册, 删除等主要操作. event_base结构 该结构在event-internal.h中. struct event_base { const struct event...
Libevent源码分析（一）——Reactor模式
Dachao0707的博客
12-10 240
前言 Libevent 本身就是一个Reactor，所以在分析Libevent之前，搞清楚Reactor是什么就非常重要了。 Reactor的事件处理机制 在服务器这一类事件驱动的应用中，如果不采取一定的策略，就必须时刻准备着处理多个同时到来的请求，那么就会浪费Cpu资源。那么我们应该怎么做才能良好的解决这一问题呢？答案就是采用事件驱动。 我的理解就是：**程序并不需要一直轮询有没有待处理的消息，...
libevent源码分析
05-04
11. 跨平台Reactor接口 libevent作为跨平台网络库，其Reactor接口的实现保证了在不同操作系统上都能提供一致的网络事件处理能力。 12. Libevent工作流程 工作流程涉及event结构体的创建、event_base的创建、event...
Libevent源码分析-----Libevent工作流程探究
热门推荐
luotuo44的专栏
08-11 1万+
之前的博文讲了很多Libevent的基础构件，现在以一个实际例子来初步探究Libevent的基本工作流程。由于还有很多Libevent的细节并没有讲所以，这里的探究还是比较简洁，例子也相当简单。
Libevent源码分析-----信号event的处理
luotuo44的专栏
08-13 8991
前面讲解了Libevent怎么对一个IO事件进行监听，现在来讲一下Libevent怎么监听信号。Libevent对于信号的处理是采用统一事件源的方式。简单地说，就是把信号也转换成IO事件，集成到Libevent中。
Libevent源码分析-----配置event_base
luotuo44的专栏
08-08 1万+
前面的博文都是讲一些Libevent的一些辅助结构，现在来讲一下关键结构event_base。           这里作一个提醒，在阅读Libevent源码时，会经常看到backend这个单词。其直译是“后端”。实际上其指的是Libevent内部使用的多路IO复用函数。本系列博文中，我不会使用到“后端”这个词，而采用“多路IO复用函数”。多路IO复用函数就是select、poll、epoll
跨平台平台编译libevent源码(32位)
谢白羽
09-18 434
文章目录1.环境准备2.编译zlib3.编译openssl4.编译libevent5.填写第一个libevent 1.环境准备 2.编译zlib 3.编译openssl 4.编译libevent 5.填写第一个libevent
libevent v2.0.10源码(跨平台事件触发的网络库)
03-11
libevent是一个事件触发的网络库，适用于windows、linux、bsd等多种平台，内部使用select、epoll、kqueue等系统调用管理事件机制。著名分布式缓存软件memcached也是libevent based，而且libevent在使用上可以做到跨平台，而且根据libevent官方网站上公布的数据统计，似乎也有着非凡的性能。 编辑本段 详细 　　编译库代码，编译脚本会判断OS支持哪种类型的事件机制（select、epoll或kqueue），然后条件编译相应代码，供上层使用的接口仍然是保持统一的（否则也不能所谓的跨平台了）。在linux redhat as 4 u 2 上编译相当容易，configure以后make，make install就可以了，windows上编译似乎有点小麻烦，不过稍微改点东西也就通过了。 　　从代码中看，libevent支持用户使用三种类型的事件，分别是网络IO、定时器、信号三种，在定时器的实现上使用了RB tree的数据结构，以达到高效查找、排序、删除定时器的目的，网络IO上，主要关注了一下linux上的epoll（因为目前的开发主要在linux平台），结果发现libevent的epoll居然用的EPOLLLT，水平触发的方式用起来比较方便，不容易出错，但是在效率上可能比EPOLLET要低一些。 　　跟网络无关的，libevent也有一些缓冲区管理的函数，而且是c风格的函数，实用性不是太大。libevent没有提供缓存的函数。 　　虽然libevent实用上的价值不大，但它提供的接口形式还是不错的，实现类似的lib的时候仍然是可以参考的。 　　Libevent定时器的数据结构自version 1.4起已由红黑树改为最小堆（Min Heap），以提高效率；网络IO和信号的数据结构采用了双向链表(TAILQ)。在实现上主要有3种链表: EVLIST_INSERTED, EVLIST_ACTIVE, EVLIST_TIMEOUT，一个ev在这3种链表之间被插入或删除，处于EVLIST_ACTIVE链表中的ev最后将会被调度执行。 　　Libevent提供了DNS，HTTP Server，RPC等组件，HTTP Server可以说是Libevent的经典应用。从http.c可看到Libevent的很多标准写法。写非阻塞式的HTTP Server很容易将socket处理与HTTP协议处理纠缠在一起，Libevent在这点上似乎也有值得推敲的地方。
libevent源码分析(二) Reactor模式
小二笙的博客
07-17 263
由于libeventlibeventlibevent本身就是一个ReactorReactorReactor，所以了解ReactorReactorReactor这样一个应用于服务端的开发设计模式很有必要。 1.ReactorReactorReactor模式 借由WikipediaWikipediaWikipedia上的解释： "The reactor design pattern is an eve...
Libevent 2.0.20源码分析-event_base结构体分析
肥叔菌的博客
06-10 8937
结构体event_base是Libevent的Reactor。它定义在event-internal.h文件中。 事件循环是Libevent的动力，实现事件循环的函数是event_base_loop。该函数首先调用I/O事件多路分发器的事件监听函数，以等待事件；当有事件发生时，就依次处理之。 int event_base_loop(struct event_base *base, int flag...
[libevent]event,event_base结构体描述
超越
04-16 4260
libevent的核心-event Libevent是基于事件驱动（event-driven）的，从名字也可以看到event是整个库的核心。event就是Reactor框架中的事件处理程序组件；它提供了函数接口，供Reactor在事件发生时调用，以执行相应的事件处理，通常它会绑定一个有效的句柄。 //在event2/event_struct.h中event的结构描述 struct event
libevent跨平台套接字使用
daoer_sofu的专栏
01-28 227
编译 cmake编译，如果需要添加ssl功能可以查看https://editor.csdn.net/md/?articleId=113249464 编译命令如下： mkdir build && cd build cmake … sdk evutil_socket_t，套接字 bufferevent，包含输入evbuffer（bufferevent_get_input获取）和输出evbuffer（bufferevent_get_output获取）,和写入回调、读取回调，满足一定条件触发事
libevent高性能网络库源码分析——Reactor模式（二）
Wallace
04-18 3969
IO模型介绍 Reactor模式IO模型介绍在介绍libevent的Reactor模式之前，首先介绍下IO模型的： 1、 同步阻塞IO（Blocking IO）： 即传统的IO模型。当用户进程向系统发起read操作时，首先需要在内核中数据准备和内核态到用户进程的数据拷贝。当两个步骤都完成后，才会返回read结果状态，才能执行后续的数据处理操作。{ read(socket, buffer)
Libevent之事件处理框架-event_base结构体学习
suoxiaoniao的博客
04-21 629
1.event_base结构体在event_internal.h中: 2.代码struct event_base { const struct eventop *evsel; /*指向eventop结构体的指针，它的作用是在初始的选择一种后端的I/O复用机制。*/ void *evbase;/*实际执行操作，它由evsel->init()初始化*/ struct event_ch
libevent_事件处理框架event_base
上道的程序员
08-16 662
目录 1.event_base 结构体 2.创建和初始化 3.主要的接口函数 4.事件的统一 1.event_base 结构体 Reactor 框架组件在 libevent中，表现为 event_base 结构体: struct event_base { const struct eventop *evsel; void *evbase; i...
libevent-2.0.21-stable: C++开发的Ubuntu16 LTS高性能HTTP库
libevent-2.0.21-stable.tar.gz 是一个针对Linux系统，特别是Ubuntu 16.04 Long-Term Support (LTS)版本的安装包，特别适合在C++开发环境中使用，专注于HTTP协议的高效处理。libevent是一个轻量级的事件驱动编程库，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值