从epoll构建muduo-11 单线程Reactor网络模型成型

原创 2013年12月08日 19:08:27

mini-muduo版本传送门
version 0.00 从epoll构建muduo-1 mini-muduo介绍
version 0.01 从epoll构建muduo-2 最简单的epoll
version 0.02 从epoll构建muduo-3 加入第一个类,顺便介绍Reactor
version 0.03 从epoll构建muduo-4 加入Channel
version 0.04 从epoll构建muduo-5 加入Acceptor和TcpConnection
version 0.05 从epoll构建muduo-6 加入EventLoop和Epoll
version 0.06 从epoll构建muduo-7 加入IMuduoUser
version 0.07 从epoll构建muduo-8 加入发送缓冲区和接收缓冲区
version 0.08 从epoll构建muduo-9 加入onWriteComplate回调和Buffer
version 0.09 从epoll构建muduo-10 Timer定时器
version 0.11 从epoll构建muduo-11 单线程Reactor网络模型成型
version 0.12 从epoll构建muduo-12 多线程代码入场
version 0.13 从epoll构建muduo-13 Reactor + ThreadPool 成型

mini-muduo v0.11版本,修整代码版本。mini-muduo完整可运行的示例可从github下载,使用命令git checkout v0.11可切换到此版本,在线浏览此版本到这里

这个版本的改动不大,主要修改了命名规范,可读性以及32-bit/64-bit问题,借着这个版本重点分析一下muduo里的三个文件描述符。


命名规范

1 Channel::getSocketfd() 改为Channel::getfd() 

Channel一开始只是用来包装socket描述符的,但是后面eventfd和timerfd都加入进来,所以改名为getfd()才合适。

2 修改了几个Channel成员变量的命名,直接用Channel所包装的文件描述符命名,更直观,比如下面这几个。

_wakeupChannel => _pEventfdChannel

_pChannel=>_pSocketChannel

_pAcceptChannel=>_pSocketAChannel

可读性

去掉了只有在多线程版本里才需要的wakeup调用(位于EventLoop::queueLoop)

32-bit/64-bit

把定时器ID的数据类型从int改为long


三种文件描述符

Muduo里有三个重要的文件描述符,1 socket fd 2 event fd 3 timer fd,这三个文件描述符外加一个epoll循环构成了整个程序运行的框架。可以看出,muduo库作者有意把各种需求都整合到epoll里,后续甚至连任务在多个线程间的分发都交给了epoll描述符。我们只要明白了muduo的这种独特设计思路,就几乎理解了其完整工作流程。


图示表明了这三个文件描述符在epoll_wait中的执行流程。主流程里有一个while循环(位于EventLoop.cc中),不断调用epoll_wait来尝试获得新的通知,三种描述符都已经被加入epoll_wait监听,所以三个描述符上只要有read类事件发生,epoll_wait会返回,对应的Channel::handleRead()会被调用。三种描述符有各自的处理流程,handleRead处理完毕后,while循环还未完结,需要继续调用doPendingFunctors(位于EventLoop.cc中)来执行异步待处理的回调,之后完成本次循环。

注意虚线部分为多线程版本才需要的代码,在当前版本可忽略。

1 socket fd
作为网络IO的核心,socket描述符的作用不必多说,所有的网络数据输入输出都通过它来完成。(之前的介绍可参看 链接 <<从epoll构建muduo-5 加入Acceptor和TcpConnection>>)。有两种socket描述符,一种用来listen新的连接,另一种用来读写数据,这里我们只关心后者。对读写数据的socket(位于TcpConnection.cc中)来说,其handleRead,或者更直接点是用户回调里的onMessage(),也就是服务器收到一个协议后的处理逻辑。可能会有下面这些操作,比如”读写数据库“或者"触发一个异步调用"或者"开启定时器做事情"等等,由于后两个操作会与eventfd/timerfd产生关联,所以这里只画出了这两个操作。这两个操作分别对应于EventLoop::queueLoop方法和TimerQueue::addTimer方法。


2 event fd

提供了一个异步调用接口,这个异步调用可能来自本线程(比如本线程的Timer),或者来自其他线程(多线程的章节涉及,先忽略),之前的介绍参看 连接 <<从epoll构建muduo-9 加入onWriteComplate回调和Buffer>>


异步调用过程如下

1 通过调用EventLoop::queryLoop送入一个IRun*和一个void*参数,后续当异步调用发生时,参数会被重新送给IRun。

2 EventLoop::queryLoop的实现做了一件事

    1把一个IRun放到pending vector(即图中vectorA)

3 socket的handleRead()之后调用doPendingFunctors,这里会遍历pending vector,并触发我们刚放入的IRun(void*),本次epoll循环结束。


3 timerfd

实现了定时器功能。(之前的介绍参看 连接 <<从epoll构建muduo-10 Timer定时器>>)


1 添加定时器的入口TimerQueue::addTimer,这是一个异步操作,是通过EventLoop::queryLoop实现的。
2 按照刚才讲的event fd处理流程,异步操作会在之后的doPendingFunctors触发,被触发的将是TimerQueue::doAddTimer函数。

3 TimerQueue::doAddTimer做下面两件事

    1将Timer插入定时器集合中(vectorB)

    2找出这个定时器是否比已知定时器里最早要发生的定时器还早,如果是,则调用resetTimerfd()将timer fd往更早修改。

4 当Timerfd对应的定时器时间到后,epoll_wait会返回,这导致timer fd的handleRead()被调用。handleRead做了下面的事情

    1 遍历定时器列表,将当前事件之前应该触发的调用全部调用一次IRun

    2 找到已经触发过,但是需要重复执行的定时器,将其后延一个时间单位,插入到定时器回调集合中(VectorB)

    3 从定时器回调集合(vectorB)里找出最近的一个未执行的条目,然后设置timer fd到这个时间。

5 定时器完整过程处理完毕。


mysql中把一个表的数据批量导入另一个表中

mysql中把一个表的数据批量导入另一个表中   不管是在网站开发还是在应用程序开发中,我们经常会碰到需要将MySQL或MS SQLServer某个表的数据批量导入到另一个表的情况,甚至有...

从epoll构建muduo-3 加入第一个类,顺便介绍reactor

mini-muduo v 0.02版本,这个版本添加的内容非常少,完整可运行的示例可从github下载,使用命令git checkout v0.02可切换到此版本,在线浏览到这里 #include ...
  • voidccc
  • voidccc
  • 2013年04月13日 00:01
  • 2018

epoll,select,poll单线程服务端示例

1、关于字节排序    网际协议采用大端字节序,来传输多字节整数。    系统提供了转换的宏定义,如果主机与网际协议相同,则宏定义为空。 2、客户端    socket -> connect(阻塞,...

单线程中fgets阻塞select/poll/epoll的解决方法

问题引出 一个client程序:select 超时监听 sockfd套接字 和 STDIN_FILENO标准输入:若sockfd可读则接收server报文;若标准输入可读(按下回车),则开始用fget...
  • jye777
  • jye777
  • 2015年08月24日 15:49
  • 1627

单线程模型中Message、Handler、Message Queue、Looper之间的关系

单线程模型中Message、Handler、Message Queue、Looper之间的关系 简单的说,Handler获取当前线程中的looper对象,looper用来从存放Message的Mes...
  • dtryl
  • dtryl
  • 2016年02月17日 20:37
  • 307

Android单线程模型相关概念详解

我们今天将会在这篇文章中为大家详细介绍有关Android单线程模型的相关内容。希望初学者们可以通过本文介绍的内容对这一概念有一个充分的认识,并从中对这一系统有一个深刻的认识。 当第一次启动一个A...

python , 一个简单的单线程的C/S模型示例

代码来自Foundations of python network programming python 版本2.7 launcelot.py # !/usr/bin/env pyt...

Android开发之单线程模型中Message、Handler、MessageQueue、Looper之间的关系

单线程模型中Message、Handler、MessageQueue、Looper之间的关系?请看过程!
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:从epoll构建muduo-11 单线程Reactor网络模型成型
举报原因:
原因补充:

(最多只允许输入30个字)