linux 内核中epoll实现

已于 2022-06-22 16:07:51 修改
阅读量1.5k 收藏 1
点赞数 1
分类专栏： linux内核分析 文章标签： 链表 数据结构
于 2022-05-24 21:56:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WANGYONGZIXUE/article/details/124953177
版权

目录

epoll_create

epoll_ctl

epoll_wait

epoll_create

struct eventpoll {

	/* Wait queue used by sys_epoll_wait() */
	wait_queue_head_t wq;

	/* Wait queue used by file->poll() */
	wait_queue_head_t poll_wait;

	/* List of ready file descriptors */
	struct list_head rdllist;

	/* RB tree root used to store monitored fd structs */
	struct rb_root_cached rbr;
}

static int ep_alloc(struct eventpoll **pep)
{
	struct eventpoll *ep;

    //申请epollevent内存
	ep = kzalloc(sizeof(*ep), GFP_KERNEL);

    //初始化等待队列
	init_waitqueue_head(&ep->wq);
	init_waitqueue_head(&ep->poll_wait);
    //初始化就绪列表    
	INIT_LIST_HEAD(&ep->rdllist);
    //初始化红黑树指针
	ep->rbr = RB_ROOT_CACHED;
...

}
  • wq： 等待队列链表。软中断数据就绪的时候会通过 wq 来找到阻塞在 epoll 对象上的⽤户进程。
  • rbr： 红⿊树。为了⽀持对海量连接的⾼效查找、插⼊和删除，eventpoll 内部使⽤了⼀棵红⿊树。通过这棵树来管理⽤户进程下添加进来的所有 socket 连接。
  • rdllist： 就绪的描述符的链表。当有连接就绪的时候，内核会把就绪的连接放到 rdllist链表⾥。应⽤进程只需要判断链表就能找出就绪进程，⽽不⽤去遍历整棵树。

epoll_ctl

添加 socket

1，分配一个红黑树节点对象epitem

2，添加等待事件到socket的等待队列中，其回调函数是ep_poll_callback

3，将epitem插入到epoll对象的红黑树里


int do_epoll_ctl(int epfd, int op, int fd, struct epoll_event *epds,
		 bool nonblock)
{

    //根据epfd找到eventpoll对象
	f = fdget(epfd);

	/* Get the "struct file *" for the target file */
    //根据socket句柄号，找到tf
	tf = fdget(fd);

	switch (op) {
	case EPOLL_CTL_ADD:
		if (!epi) {
			epds->events |= EPOLLERR | EPOLLHUP;
            //
			error = ep_insert(ep, epds, tf.file, fd, full_check);
		} else
			error = -EEXIST;
		if (full_check)
			clear_tfile_check_list();
		break;
	}

	return error;
}

static int ep_insert(struct eventpoll *ep, const struct epoll_event *event,
		     struct file *tfile, int fd, int full_check)
{
	//分配epitem
	if (!(epi = kmem_cache_alloc(epi_cache, GFP_KERNEL)))

	INIT_LIST_HEAD(&epi->rdllink);
	INIT_LIST_HEAD(&epi->fllink);
	INIT_LIST_HEAD(&epi->pwqlist);

	epi->ep = ep;
	ep_set_ffd(&epi->ffd, tfile, fd);
	epi->event = *event;
	epq.epi = epi;//设置监听的fd事件

    //设置socket等待队列 并初始化ep_pqueue对象
	init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);//注册回调函数

    //实际调用ep_ptable_queue_proc,注册函数为ep_poll_callback
	revents = ep_item_poll(epi, &epq.pt, 1);

	//插入红黑树
	ep_rbtree_insert(ep, epi);

}
  • 分配epitem,它会被挂载到红黑树上；
  • 设置 socket 对象上的等待任务队列
  • ep_poll_callback 设置为数据就绪时候的回调函数

ep_ptable_queue_proc->ep_poll_callback

init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);

将当前被监听的socket fd加入到等待队列中

static void ep_ptable_queue_proc(struct file *file, wait_queue_head_t *whead,
				 poll_table *pt)
{

	if (epi->nwait >= 0 && (pwq = kmem_cache_alloc(pwq_cache, GFP_KERNEL))) {
		//初始化回调方法
		init_waitqueue_func_entry(&pwq->wait, ep_poll_callback);
		pwq->whead = whead;
		pwq->base = epi;
        //如果设置了EPOLLEXCLUSIVE
		if (epi->event.events & EPOLLEXCLUSIVE)
			add_wait_queue_exclusive(whead, &pwq->wait);
		else
			add_wait_queue(whead, &pwq->wait);
		list_add_tail(&pwq->llink, &epi->pwqlist);
		epi->nwait++;
	}
}

 如果一个socket fd被添加到了多个epoll中进行监控，设置了这个参数后，这个fd上有事件发生时，只会唤醒被添加到的第一个epoll里，避免惊群。

static inline void
init_waitqueue_func_entry(struct wait_queue_entry *wq_entry, wait_queue_func_t func)
{
	wq_entry->flags		= 0;
	wq_entry->private	= NULL;
	wq_entry->func		= func;
}
  • private =NULL， socket 是交给epoll 来管理的，不需要在⼀个 socket 就绪的时候就唤醒进程。在前面分析recvfrom时，此处设置成当前进程描述符current。
  • ep_poll_callback注册到wait_queue_entry上，有数据到达时调用。

什么时候调用？软中断将数据收到 socket 的接收队列后，会通过注册的这个ep_poll_callback 函数来回调，进⽽通知到 epoll 对象。

插入红黑树

epoll 在查找效率、插⼊效率、内存开销等等多个⽅⾯⽐较均衡

ep_rbtree_insert(ep, epi);

epoll_wait

等待接收

SYSCALL_DEFINE4(epoll_wait, int, epfd, struct epoll_event __user *, events,
		int, maxevents, int, timeout)
{
	return do_epoll_wait(epfd, events, maxevents, timeout);
}


static int do_epoll_wait(int epfd, struct epoll_event __user *events,
			 int maxevents, int timeout)
{
	ep = f.file->private_data;

	error = ep_poll(ep, events, maxevents, timeout);

    ...
}


static int ep_poll(struct eventpoll *ep, struct epoll_event __user *events,
		   int maxevents, long timeout)
{
     //是否有就绪事件
	eavail = ep_events_available(ep);

    do {
        //Internally init_wait() uses autoremove_wake_function()
        //初始化wait，保存上下文，当前进程，即当前进程插入epoll等待队列
        init_wait(&wait);


    	//是否有就绪队列
		eavail = ep_events_available(ep);
		if (!eavail) {//没有就绪队列，但是有信号需要处理
			if (signal_pending(current))
				res = -EINTR;
			else
				__add_wait_queue_exclusive(&ep->wq, &wait);//添加到等待队列
		}


		//阻塞当前进程
		if (!schedule_hrtimeout_range(to, slack, HRTIMER_MODE_ABS)) {
			timed_out = 1;
			break;
		}

	} while (0);

    }

}

static int ep_send_events(struct eventpoll *ep,
			  struct epoll_event __user *events, int maxevents)
{
	struct ep_send_events_data esed;
	//定义保存触发的事件的结构体
	esed.maxevents = maxevents;
	esed.events = events;

    //扫描就绪列表,调用f_op->poll()
	ep_scan_ready_list(ep, ep_send_events_proc, &esed, 0, false);
	return esed.res;
}

看一下ep_send_events_proc

static __poll_t ep_send_events_proc(struct eventpoll *ep, struct list_head *head,
			       void *priv)
{

	//遍历就绪队列
	list_for_each_entry_safe(epi, tmp, head, rdllink) {
		if (esed->res >= esed->maxevents)
			break;

		//移出就绪队列
		list_del_init(&epi->rdllink);

		revents = ep_item_poll(epi, &pt, 1);
		if (!revents)
			continue;
		//写入调用方传入的结构体，返回0则说明成功
		if (__put_user(revents, &uevent->events) ||
		    __put_user(epi->event.data, &uevent->data)) {
				//失败则插入队列中
			list_add(&epi->rdllink, head);

		}
		esed->res++;
		uevent++;
		//设置了EPOLLONESHOT 则清除订阅的事件
		if (epi->event.events & EPOLLONESHOT)
			epi->event.events &= EP_PRIVATE_BITS;
			//水平触发则重新插入，下次epoll_wait继续触发
		else if (!(epi->event.events & EPOLLET)) {

			list_add_tail(&epi->rdllink, &ep->rdllist);
			ep_pm_stay_awake(epi);
		}
	}

	return 0;
}


static __poll_t ep_item_poll(const struct epitem *epi, poll_table *pt,
				 int depth)
{
	struct eventpoll *ep;
	bool locked;

	pt->_key = epi->event.events;
	if (!is_file_epoll(epi->ffd.file))
		return vfs_poll(epi->ffd.file, pt) & epi->event.events;

	ep = epi->ffd.file->private_data;
	poll_wait(epi->ffd.file, &ep->poll_wait, pt);
	locked = pt && (pt->_qproc == ep_ptable_queue_proc);

	return ep_scan_ready_list(epi->ffd.file->private_data,
				  ep_read_events_proc, &depth, depth,
				  locked) & epi->event.events;
}

static inline __poll_t vfs_poll(struct file *file, struct poll_table_struct *pt)
{
	if (unlikely(!file->f_op->poll))
		return DEFAULT_POLLMASK;
	return file->f_op->poll(file, pt);
}

调用了 file->f_op->poll 实际上调用sock_poll

static __poll_t sock_poll(struct file *file, poll_table *wait)
{
	struct socket *sock = file->private_data;

	return sock->ops->poll(file, sock, wait) | flag;
}

__poll_t tcp_poll(struct file *file, struct socket *sock, poll_table *wait)
{
	struct sock *sk = sock->sk;

	sock_poll_wait(file, sock, wait);
}

参考

https://zhuanlan.zhihu.com/p/384098769

GitHub - yanfeizhang/coder-kung-fu: 开发内功修炼

为了维护世界和平_
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
linux内核select/poll，epoll实现与区别
12-31
下面文章在这段时间内研究 select/poll/epoll的内核实现的一点心得体会： select，poll，epoll都是多路复用IO的函数，简单说就是在一个线程里，可以同时处理多个文件描述符的读写。 select/poll的实现很类似，epoll是从select/poll扩展而来，主要是为了解决select/poll天生的缺陷。 epoll在内核版本2.6以上才出现的新的函数，而他们在linux内核中的实现都是十分相似。 这三种函数都需要设备驱动提供poll回调函数，对于套接字而言，他们是 tcp_poll，udp_poll和datagram_poll; 对于自己开发的设备驱动而言，是自
Linux 2.6 内核Epoll用法举例说明
03-04
epoll用到的所有函数都是在头文件sys/epoll.h中声明的，本文简要说明所用到的数据结构和函数。
linux epoll机制详解
01-09
在linux 没有实现epoll事件驱动机制之前，我们一般选择用select或者poll等IO多路复用的方法来实现并发服务程序。在linux新的内核中，有了一种替换它的机制，就是epoll。 select()和poll() IO多路复用模型 select的缺点： 1.单个进程能够监视的文件描述符的数量存在最大限制，通常是1024，当然可以更改数量，但由于select采用轮询的方式扫描文件描述符，文件描述符数量越多，性能越差；(在linux内核头文件中，有这样的定义：#define __FD_SETSIZE 1024) 2.内核 / 用户空间内存拷贝问题，select需要复制大量的句柄数据
linux之epoll3
aries5555的专栏
07-21 656
Linux 2.6内核中提高网络I/O性能的新方法-epoll I/O多路复用技术在比较多的TCP网络服务器中有使用，即比较多的用到select函数。 1、为什么select落后     首先，在Linux内核中，select所用到的FD_SET是有限的，即内核中有个参数__FD_SETSIZE定义了每个FD_SET的句柄个数，在 我用的2.6.15-25-386内核中，该值是1024
非阻塞io之 epoll内核实现
攻城狮
10-21 469
epoll创建epollFdepollFD文件描述符的回调实现epoll_ctl 系统调用epoll_ctl的系统调用实现epoll_wait系统调用 由于需要实现一个驱动想封装出epoll的设备，在网上找关于epoll的信息，好少所以自己看了内核的代码了解以下epoll机制，做个总结以便自己后面查看。 /* * 这个结构存储在`struct file`结构的 "private_data"成员中，也是eventpoll接口的主要数据结构。 * 访问它受到 wq 内部锁的保护。 */ struct ev
浅谈epoll
RToax
06-27 978
对于Linux内核多路复用技术相比大家都有一定的了解，从select、poll到epoll，无一不是对前者的升级，这篇文建将要简单讲解epoll在内核中的实现。本文中提及的内核版本是 4.20.11.注意这里的epoll并不是evolution poll，而是event poll，二者没有必要的联系，epoll也并不是针对poll进行的改进，再加上select，三者为单线程多任务的模拟。比如我们了解的redis、nginx都有用到epoll技术，感兴趣的朋友可以自行谷歌或必应。 介绍 在Linux内核4
你真的了解epoll吗？深入epoll的五个问题
最新发布
qq_40989769的博客
06-03 428
ET是edge trigger，也就是边缘触发，它是指当可读/可写事件到来时触发，重点是它只触发一次，见下图：LT是level trigger，也就是水平触发，它是重点是可以触发多次，代码实现实际上很简单，只有一行代码，没有想到吧。|--ep_poll........//就是这句，如果不是ET，就把epi重新加入ep的就绪列表中，//这样下次再调用epoll_wait时，还能再就绪列表中看到这个epi，//然后再看看该epi是否可读。else if (!/**/
epoll源码分析(基于linux-5.1.4)
weixin_30374009的博客
06-07 206
epoll源码分析(基于linux-5.1.4) API epoll提供给用户进程的接口有如下四个，本文基于linux-5.1.4源码详细分析每个API具体做了啥工作，通过UML时序图理清内核内部的函数调用关系。 int epoll_create1(int size)； 创建一个epfd句柄，size为0时等价于int epoll_creat...
深入理解epoll
weixin_61631200的博客
07-15 845
同 I/O 多路复用和信号驱动 I/O 一样，Linux 的 epoll（event poll）API 可以检查多个文件 描述符上的 I/O 就绪状态。epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。...
epoll学习：epoll_wait函数详解
个人工作中学到的专业技术与职业发展知识笔记
11-24 1万+
epoll_wait：等待监听的所有fd相应事件的产生。
Linux epoll模型详解.xmind
06-15
linux epoll 概念、优缺点、io复用 、脑图、Linux下的服务器模型：
Linux内核阅读
03-08
读核感悟-Linux内核启动-内核的生成...........................................2 读核感悟-Linux内核启动-从hello world说起...................................3 读核感悟-Linux内核启动-BIOS.....................
多线程调用epoll_wait()的线程安全问题分析 http://blog.csdn.net/lmh12506/article/details/7836827
诺尔曼
09-02 3180
http://blog.csdn.net/lmh12506/article/details/7836827  多线程调用epoll_wait()的线程安全问题分析 2012-08-06 20:57 3041人阅读 评论(1) 收藏 举报 多线程socketthread工作 目录(?)[+] 多线程epoll_wait后得
IO模式 epoll详解
cyx1812431306的博客
08-12 468
参考链接一 参考链接二 复用技术：在单条信道上处理多个时间，用单个线程处理多个事件。 这里所说的IO主要指的是网络IO，在Linux中一切皆文件，因此网络IO常用文件描述符fd表示。 select、epoll对比 用户态将文件拷贝入内核态的方式 select：创建三个描述符集合并拷贝入内核，分别监听读、写、异常动作。受到单个进程（select线程）可以打开fd数量限制，默认是1024； epoll：执行epoll_create函数会在内核的高速cache区建立红黑树和就绪链表(存储已经就绪的文件描述符
epoll
xiongli880612的专栏
07-19 682
一、 EPOLLONESHOT：只监听一次事件，当监听完这次事件之后，如果还需要继续监听这个socket的话，需要再次把这个socket加入到 EPOLL队列里 二、 从man手册中，得到ET和LT的具体描述如下 EPOLL 事件有两种模型： Edge Triggered (ET) Level Triggered (LT) 假如有这样一个例子： 1. 我们已经把一个用来
epoll源码学习记录
chenquangobeijing的专栏
09-26 293
【代码】epoll源码学习记录。
epoll_wait详解
热门推荐
zhoumuyu_yu的博客
01-11 5万+
epoll_pwait，等待epoll文件描述符上的I / O事件。 #include <sys / epoll.h> int epoll_wait（int epfd，struct epoll_event * events，int maxevents，int timeout）; epoll_wait（）系统调用等待文件描述符epfd引用的epoll实例上的事件。事件所指向的存储区域将包含可供调用者使用的事件。 epoll_wait（）最多返回最大事件。 maxevents...
卡顿、ANR、死锁，线上如何监控？
chuyouyinghe的专栏
10-31 754
最近参加了几轮面试，发现很多5-7年工作经验的候选人在性能优化这一块，基本上只能说出传统的分析方式，例如ANR分析，是通过查看/data/anr/ 下的log，分析主线程堆栈、cpu、锁信息等，然而，这种方法有一定的局限性，并不是每次都奏效，很多时候是没有堆栈信息给你分析的，例如有些高版本设备需要root权限才能访问/data/anr/ 目录，或者是线上用户的反馈，只有一张ANR的截图加上一句话描述。假如你的App没有实现ANR监控上报，那么你大概率会把这个问题当成“未复现”处理掉，而没有真正解决问题。
anr / anr.txt文件
BunnyCoffer的博客
02-25 1864
----- pid 4135 at 2022-02-24 23:24:42 ----- Cmd line: com.example.demo066 Build fingerprint: 'google/sdk_gphone_arm64/emulator_arm64:11/RSR1.201216.001/7036879:userdebug/dev-keys' ABI: 'arm64' Build type: optimized Zygote loaded classes=15748 post zygote .
linux内核的epoll和timerfd, eventfd是如何实现和联动的？
05-31
在Linux内核中，epoll是一种高效的事件通知机制，timerfd是一种定时器事件通知机制，eventfd是一种异步事件通知机制。这三种事件通知机制都可以用于非阻塞I/O模型。 当一个文件描述符（例如socket）上有I/O事件发生...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

为了维护世界和平_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值