一.用C++ 和 epoll 实现一个服务器
用C++ 实现一个epoll并发服务器
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <signal.h>
#include <fcntl.h>
#include <sys/wait.h>
#include <sys/epoll.h>
#include <stdlib.h>
#include <stdio.h>
#include <errno.h>
#include <string.h>
#include <vector>
#include <algorithm>
#include "read_write.h"
#include "sysutil.h"
typedef std::vector<struct epoll_event> EventList;
// 相比于select与poll，epoll最大的好处是不会随着关心的fd数目的增多而降低效率
int main(void)
{
int count = 0;
int listenfd;
if ((listenfd = socket(PF_INET, SOCK_STREAM, IPPROTO_TCP)) < 0)
ERR_EXIT("socket");
struct sockaddr_in servaddr;
memset(&servaddr, 0, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(5188);
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
int on = 1;
if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &on, sizeof(on)) < 0)
ERR_EXIT("setsockopt");
if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
ERR_EXIT("bind");
if (listen(listenfd, SOMAXCONN) < 0)
ERR_EXIT("listen");
std::vector<int> clients;
int epollfd;
epollfd = epoll_create1(EPOLL_CLOEXEC); //epoll实例句柄
struct epoll_event event;
event.data.fd = listenfd;
event.events = EPOLLIN | EPOLLET; //边沿触发
epoll_ctl(epollfd, EPOLL_CTL_ADD, listenfd, &event);
EventList events(16);
struct sockaddr_in peeraddr;
socklen_t peerlen;
int conn;
int i;
int nready;
while (1)
{
nready = epoll_wait(epollfd, &*events.begin(), static_cast<int>(events.size()), -1); // -1永不超时
if (nready == -1)
{
if (errno == EINTR)
continue;
ERR_EXIT("epoll_wait");
}
if (nready == 0)
continue;
if ((size_t)nready == events.size()) // 需要扩容
events.resize(events.size() * 2);
for (i = 0; i < nready; i++)
{
if (events[i].data.fd == listenfd) // 监听套接字产生可读事件
{
peerlen = sizeof(peeraddr);
conn = accept(listenfd, (struct sockaddr *)&peeraddr, &peerlen);
if (conn == -1)
ERR_EXIT("accept");
printf("ip=%s port=%d\n", inet_ntoa(peeraddr.sin_addr), ntohs(peeraddr.sin_port));
printf("count = %d\n", ++count);
clients.push_back(conn); // 保存
activate_nonblock(conn); // 设置为非阻塞模式
event.data.fd = conn;
event.events = EPOLLIN | EPOLLET; // 可读事件,边沿触发
epoll_ctl(epollfd, EPOLL_CTL_ADD, conn, &event);
}
else if (events[i].events & EPOLLIN) // 已连接套接字产生事件
{
conn = events[i].data.fd;
if (conn < 0)
continue;
char recvbuf[1024] = {0};
int ret = readline(conn, recvbuf, 1024);
if (ret == -1)
ERR_EXIT("readline");
if (ret == 0)
{
printf("client close\n");
close(conn);
event = events[i];
epoll_ctl(epollfd, EPOLL_CTL_DEL, conn, &event); // 移出
clients.erase(std::remove(clients.begin(), clients.end(), conn), clients.end());
}
fputs(recvbuf, stdout);
writen(conn, recvbuf, strlen(recvbuf));
}
}
}
return 0;
}1、epoll_create1 产生一个epoll 实例，返回的是实例的句柄。flag 可以设置为0 或者EPOLL_CLOEXEC，为0时函数表现与epoll_create一致，EPOLL_CLOEXEC标志与open 时的O_CLOEXEC 标志类似，即进程被替换时会关闭打开的文件描述符。
2、epoll_ctl ：
（1）epfd：epoll 实例句柄；
（2）op：对文件描述符fd 的操作，主要有EPOLL_CTL_ADD、 EPOLL_CTL_DEL等；
（3）fd：需要操作的目标文件描述符；
（4）event：结构体指针
typedef union epoll_data {
void *ptr;
int fd;
uint32_t u32;
uint64_t u64;
} epoll_data_t;
struct epoll_event {
uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events 参数主要有EPOLLIN、EPOLLOUT、EPOLLET、EPOLLLT等；一般data 共同体我们设置其成员fd即可，也就是epoll_ctl 函数的第三个参数。
3、epoll_wait：
（1）epfd：epoll 实例句柄；
（2）events：结构体指针
（3）maxevents：事件的最大个数
（4）timeout：超时时间，设为-1表示永不超时
二、epoll与select、poll区别
1、相比于select与poll，epoll最大的好处在于它不会随着监听fd数目的增长而降低效率。内核中的select与poll的实现是采用轮询来处理的，轮询的fd数目越多，自然耗时越多。
2、epoll的实现是基于回调的，如果fd有期望的事件发生就通过回调函数将其加入epoll就绪队列中,也就是说它只关心“活跃”的fd，与fd数目无关。
3、内核 / 用户空间 内存拷贝问题，如何让内核把 fd消息通知给用户空间呢？在这个问题上select/poll采取了内存拷贝方法。而epoll采用了内核和用户空间共享内存的方式。
4、epoll不仅会告诉应用程序有I/0 事件到来，还会告诉应用程序相关的信息，这些信息是应用程序填充的，因此根据这些信息应用程序就能直接定位到事件，而不必遍历整个fd集合。
5、当已连接的套接字数量不太大，并且这些套接字都非常活跃，那么对于epoll 来说一直在调用callback 函数（epoll 内部的实现更复杂，更复杂的代码逻辑），可能性能没有poll 和 select 好，因为一次性遍历对活跃的文件描述符处理，在连接数量不大的情况下，性能更好，但在处理大量连接的情况时，epoll 明显占优。
三、epoll 的EPOLLLT （电平触发，默认）和 EPOLLET（边沿触发）模式的区别
1、EPOLLLT：完全靠kernel epoll驱动，应用程序只需要处理从epoll_wait返回的fds，这些fds我们认为它们处于就绪状态。此时epoll可以认为是更快速的poll。
2、EPOLLET：此模式下，系统仅仅通知应用程序哪些fds变成了就绪状态，一旦 fd变成就绪状态，epoll将不再关注这个fd的任何状态信息，（从epoll队列移除）直到应用程序通过读写操作（非阻塞）触发EAGAIN状 态，epoll认为这个fd又变为空闲状态，那么epoll又重新关注这个fd的状态变化（重新加入epoll队列）。随着epoll_wait的返回， 队列中的fds是在减少的，所以在大并发的系统中，EPOLLET更有优势，但是对程序员的要求也更高，因为有可能会出现数据读取不完整的问题，举例如 下：
假设现在对方发送了2k的数据，而我们先读取了1k，然后这时调用了 epoll_wait，如果是边沿触发，那么这个fd变成就绪状态就会从epoll 队列移除，很可能epoll_wait 会一直阻塞，忽略尚未读取的1k数据，与此同时对方还在等待着我们发送一个回复ack，表示已经接收到数据；如果是电平触发，那么epoll_wait 还会检测到可读事件而返回，我们可以继续读取剩下的1k 数据。
附录: 2个 .h文件
#ifndef _READ_WRITE_H_
#define _READ_WRITE_H_
//read_write.h
#include <unistd.h>
#include <stdlib.h>
#include <stdio.h>
ssize_t readn(int fd,void *buf,size_t count)
{
size_t nleft = count ; // 未读取的数据
ssize_t nread;// 已读取的数据
char *bufp= (char*)buf;
while(nleft > 0)
{
if( (nread = read(fd,bufp,nleft)) < 0)
{
if( errno == EINTR)
nread = 0;// 继续读取数据
else
return -1;
}
else if( nread == 0) // 对方关闭或已经读到eof
break;
bufp +=nread;
nleft -= nread;
}
return count-nleft;
}
ssize_t writen(int fd,const void *buf,size_t count)
{
size_t nleft=count; // 未读取的
ssize_t nwritten; // 已读取的
char *bufp = (char*)buf;
while(nleft > 0)
{
if((nwritten = write(fd,bufp,nleft)) < 0)
{
if( errno == EINTR)
continue;
else
return -1;
}
else if( nwritten == 0)
continue;
bufp += nwritten;
nleft -= nwritten;
}
return count;
}
ssize_t recv_peek(int sockfd, void *buf, size_t len)
{
while(1)
{
int ret = recv(sockfd,buf,len,MSG_PEEK);
if(ret == -1 && errno==EINTR)
continue;
return ret;
}
}
/*
可重入函数主要用于多任务环境中，一个可重入的函数简单来说就是可以被中
断的函数，也就是说，可以在这个函数执行的任何时刻中断它，转入OS调度下
去执行另外一段代码，而返回控制时不会出现什么错误；而不可重入的函数由
于使用了一些系统资源，比如全局变量区，中断向量表等，所以它如果被中断
的话，可能会出现问题，这类函数是不能运行在多任务环境下的。
*/
// 读取一行数据,但是没一行读取的数据不能超过maxline
ssize_t readline(int sockfd,void *buf,size_t maxline)
{
int ret;
int nread;
char *bufp = (char*)buf;
int nleft = maxline;
int count=0;
while(1)
{
ret = recv_peek(sockfd,bufp,nleft);// 读取缓冲区,但是不清除缓冲区
if(ret < 0)
return ret;
else if (ret==0)
return ret;
nread = ret;
int i;
for(i=0;i<nread;i++)
{
if(bufp[i] =='\n') // 如果找到'\n'的位置
{
ret = readn(sockfd,bufp,i+1); // 读取缓冲区后,清除缓冲区
if(ret != i+1)
exit(EXIT_FAILURE);
return ret+count;
}
}
if(nread > nleft)
exit(EXIT_FAILURE);
nleft -=nread; // 运行到这里,说明读取的一行数据没有'\n',已经说明是第二次读取了
ret = readn(sockfd,bufp,nread);// 读取nread个字符,清除缓冲区(因为nread调用的时read函数)
if(ret != nread)
exit(EXIT_FAILURE);
count +=nread; // ,记录已经读取的字节数
bufp +=nread; // 指针偏移nread
}
return -1;
}
#endif #ifndef _SYSUTIL_H_
#define _SYSUTIL_H_
// sysutil.h
//实现超时的一些程序
#include <stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <unistd.h>
#include <stdlib.h>
#include <errno.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <string.h>
#include <fcntl.h>
#include <signal.h>
/*
*read_timeout - 读超时检测函数，不含读操作
* fd:文件描述符 * wait_seconds:等待超时秒数， 如果为0表示不检测超时；
* 成功（未超时）返回0，失败返回-1，超时返回-1并且errno = ETIMEDOUT
*/
#define ERR_EXIT(m) \
do{ \
perror(m); \
exit(EXIT_FAILURE); \
}while(0)
int read_timeout(int fd, unsigned int wait_seconds)
{
int ret = 0;
if (wait_seconds > 0)
{
fd_set read_fdset; // 定义读集合
struct timeval timeout; // 超时时间
FD_ZERO(&read_fdset); // 清空集合
FD_SET(fd, &read_fdset); // 文件描述符加入到集合
timeout.tv_sec = wait_seconds; // 以秒为操作单位的
timeout.tv_usec = 0;
do
{
//ret==0,超时, select会阻塞直到检测到事件或者超时,
//ret==1,检测到可读事件, 如果select检测到可读事件发送，则此时调用read不会阻塞
ret = select(fd + 1, &read_fdset, NULL, NULL, &timeout);
}while (ret < 0 && errno == EINTR);
if (ret == 0) // 超时返回-1并且errno = ETIMEDOUT
{
ret = -1;
errno = ETIMEDOUT;
}
else if (ret == 1) // 文件描述符产生可读事件,返回可读事件
return 0;
}
return ret;
}
/*
*write_timeout - 写超时检测函数，不含写操作
* fd:文件描述符
* wait_seconds:等待超时秒数， 如果为0表示不检测超时；
* 成功（未超时）返回0，失败返回-1，超时返回-1并且errno = ETIMEDOUT
*/
int write_timeout(int fd, unsigned int wait_seconds)
{
int ret = 0;
if (wait_seconds > 0) // 只有wait_seconds>0 才进行超时检测
{
fd_set write_fdset;
struct timeval timeout;
FD_ZERO(&write_fdset);
FD_SET(fd, &write_fdset);
timeout.tv_sec = wait_seconds;
timeout.tv_usec = 0;
do
{
ret = select(fd + 1, NULL, &write_fdset, NULL, &timeout);
}
while (ret < 0 && errno == EINTR);
if (ret == 0)
{
ret = -1;
errno = ETIMEDOUT;
}
else if (ret == 1)
return 0;
}
return ret;
}
/*
*accept_timeout - 带超时的accept
* fd: 套接字
* addr: 输出参数，返回对方地址
* wait_seconds: 等待超时秒数，如果为0表示正常模式
* 成功（未超时）返回已连接套接字，失败返回-1，超时返回-1并且errno = ETIMEDOUT
*/
int accept_timeout(int fd, struct sockaddr_in *addr, unsigned int wait_seconds)
{
int ret;
socklen_t addrlen = sizeof(struct sockaddr_in); // 定义地址长度
if (wait_seconds > 0)
{
fd_set accept_fdset;
struct timeval timeout;
FD_ZERO(&accept_fdset);
FD_SET(fd, &accept_fdset); // 将fd添加到集合中
timeout.tv_sec = wait_seconds;
timeout.tv_usec = 0;
do
{
ret = select(fd + 1, &accept_fdset, NULL, NULL, &timeout);
}while (ret < 0 && errno == EINTR);
if (ret == -1) // 失败
return -1;
else if (ret == 0) //超时返回-1并且errno = ETIMEDOUT
{
errno = ETIMEDOUT;
return -1;
}
}
// ret=1,检测到事件
if (addr != NULL)
ret = accept(fd, (struct sockaddr *)addr, &addrlen);
else
ret = accept(fd, NULL, NULL);
if (ret == -1)
ERR_EXIT("accpet error");
return ret;
}
/*
* activate_nonblock - 设置IO为非阻塞模式
* fd: 文件描述符
*/
void activate_nonblock(int fd)
{
int ret;
int flags = fcntl(fd, F_GETFL); // 获取文件描述符的标记
if (flags == -1)
ERR_EXIT("fcntl error");
flags |= O_NONBLOCK; // 添加一个非阻塞的模式
ret = fcntl(fd, F_SETFL, flags); // 设置fd描述符
if (ret == -1)
ERR_EXIT("fcntl error");
}
/*
* deactivate_nonblock - 设置IO为阻塞模式
* fd: 文件描述符
*/
void deactivate_nonblock(int fd)
{
int ret;
int flags = fcntl(fd, F_GETFL);
if (flags == -1)
ERR_EXIT("fcntl error");
flags &= ~O_NONBLOCK; // 去掉非阻塞模式
ret = fcntl(fd, F_SETFL, flags);
if (ret == -1)
ERR_EXIT("fcntl error");
}
/*
* connect_timeout - 带超时的connect
* fd: 套接字
* addr: 输出参数，返回对方地址
* wait_seconds: 等待超时秒数，如果为0表示正常模式
* 成功（未超时）返回0，失败返回-1，超时返回-1并且errno = ETIMEDOUT
*/
int connect_timeout(int fd, struct sockaddr_in *addr, unsigned int wait_seconds)
{
int ret;
socklen_t addrlen = sizeof(struct sockaddr_in);
if (wait_seconds > 0)
activate_nonblock(fd); // 非阻塞模式
// 用非阻塞模式进行连接
ret = connect(fd, (struct sockaddr *)addr, addrlen);
if (ret < 0 && errno == EINPROGRESS) // 连接正在处理当中
{
printf("AAAAA\n");
fd_set connect_fdset; // 连接集合
struct timeval timeout; //超时时间
FD_ZERO(&connect_fdset);
FD_SET(fd, &connect_fdset); // fd添加到集合
timeout.tv_sec = wait_seconds;
timeout.tv_usec = 0;
do
{
// 一旦连接建立，套接字就可写
// 套接字添加到可写集合中
ret = select(fd + 1, NULL, &connect_fdset, NULL, &timeout);
}while (ret < 0 && errno == EINTR);
if (ret == 0) // 连接超时
{
errno = ETIMEDOUT;
return -1;
}
else if (ret < 0) //错误
return -1;
else if (ret == 1) // 检测到可写事件
{
/*
ret返回为1，可能有两种情况，
一种是连接建立成功，
一种是套接字产生错误
此时错误信息不会保存至errno变量中（select没出错）,
因此，需要调用getsockopt来获取
*/
printf("BBBBB\n"); //
int err;
socklen_t socklen = sizeof(err);
/*
int getsockopt(int sockfd,
int level,
int optname,
void *optval,
socklen_t *optlen);
*/
int sockoptret = getsockopt(fd, SOL_SOCKET, SO_ERROR, &err, &socklen);
if (sockoptret == -1)
return -1;
if (err == 0)
{
printf("DDDDD\n"); // 连接成功,会运行到这里
ret = 0;
}
else
{
printf("CCCCC\n"); //服务器程序,不开,连接拒绝,会运行到这里
errno = err;
ret = -1;
}
}
}
if (wait_seconds > 0)
deactivate_nonblock(fd); // 重新置为阻塞模式
return ret;
}
#endif 
扫一扫
4354
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
