TCP服务器的建设要求
1.基础部分:网络编程
//传入参数小于2直接退出
if (argc < 2) {
printf("Param Error\n");
return -1;
}
//设置监听端口 监听
int port = atoi(argv[1]); // atoi 函数将传入的字符串的数字转换为数值
int sockfd = socket(AF_INET,SOCK_STREAM,0);
//设置网络地址
struct sockaddr_in addr;
memset(&addr, 0, sizeof(struct sockaddr_in));
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = INADDR_ANY;//INADDR_ANY时0.0.0.0代表任意地址
if (bind(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {// 将网络地址和socket的进行绑定
perror("bind"); //等于0成功 -1失败
return 2;
}
//开始监听 监听者,缓冲区最多等待几个参数
if (listen(sockfd, 5) < 0) {
perror("listen");//perror打error编码和理由
return 3;
}2.多客户端请求时的并发服务器:
一请求一线程;缺点 当请求到达百万级别的时候 就不适合采用一对一的方法
//一请求一线程
while (1) {
//为请求接入线程 来一个接入一个 最多五个
struct sockaddr_in client_addr;
memset(&client_addr, 0, sizeof(struct sockaddr_in));
socklen_t client_len = sizeof(client_addr);
//拿到客户端id
int clientfd = accept(sockfd, (struct sockaddr*)&client_addr, &client_len);
//创建线程 来一个客户端 创建一个对应的线程
pthread_t thread_id;
//
pthread_create(&thread_id, NULL, client_routine, &clientfd);io多路复用,epoll/select实现
关于io是否有数据:
一种是有数据就触发epoll 水平触发 可以多次读取数据
还有一种就是检测数据从无到有 边沿触发 必须一次性全部读完数据 第二次不会触发读取
在面试的时候要把epoll的水平触发和边沿触发说清楚!!!!!
创建:epoll_create 下面两个都是由create所管理 epoll_ctl是工具
添加/更新/删除io:epoll_ctl()
#include <sys / epoll.h>
int epfd = epoll_create(1);
op = EPOLL_CTL_ADD/EPOLL_CTL_MOD/EPOLL_CTL_DEL
int fd= socket(AF_INET,SOCK_STREAM,0); //属于io
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = fd;
int epoll_ctl（epfd，op，fd，&ev）;
注释:
EPOLL_CTL_ADD：在文件描述符epfd所引用的epoll实例上注册目标文件描述符fd，并将事件事件与内部文件链接到fd。
EPOLL_CTL_MOD：更改与目标文件描述符fd相关联的事件事件。
EPOLL_CTL_DEL：从epfd引用的epoll实例中删除（注销）目标文件描述符fd。该事件将被忽略，并且可以为NULL（但请参见下面的错误）。
时间间隔:epoll_wait()
//events指集合epfd中几个io有事件
//nready返回的就是数量 当epoll_wait给-1时 在不断循环中直到有事件才会往下走
int nready = epoll_wait(epfd, events, EPOLL_SIZE, 5); // -1 只有有事件的时候才会去访问, 0不管有没有事件都会去访问, n>0 多少时间间隔去访问一次
//没有事件就会返回-1在使用epoll中必定会有1个主事件循环
关于TCP服务器的实现代码
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <netinet/tcp.h>
#include <arpa/inet.h>
#include <pthread.h>
#include <errno.h>
#include <fcntl.h>
#include <sys/epoll.h>
#define BUFFER_LENGTH 1024
#define EPOLL_SIZE 1024
void* client_routine(void* arg) {
int clientfd = *(int*)arg;
//客户端传入数据
while (1) {
char buffer[BUFFER_LENGTH] = { 0 };
//当recv返回-1的时候意味着 io通道有错 无数据
int len = recv(clientfd, buffer, BUFFER_LENGTH, 0);
if (len < 0) {
close(clientfd);
break;
}
else if (len == 0) { // disconnect 断开链接
close(clientfd);
break;
}
//输出内容
else {
printf("Recv: %s, %d byte(s)\n", buffer, len);
}
}
}
int main(int argc, char* argv[])
{
//传入参数小于2直接退出
if (argc < 2) {
printf("Param Error\n");
return -1;
}
//设置监听端口 监听
int port = atoi(argv[1]); // atoi 函数将传入的字符串的数字转换为数值
int sockfd = socket(AF_INET,SOCK_STREAM,0); //属于io
//设置网络地址
struct sockaddr_in addr;
memset(&addr, 0, sizeof(struct sockaddr_in));
addr.sin_family = AF_INET;
addr.sin_port = htons(port);
addr.sin_addr.s_addr = INADDR_ANY;//INADDR_ANY时0.0.0.0代表任意地址
if (bind(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {// 将网络地址和socket的进行绑定
perror("bind"); //等于0成功 -1失败
return 2;
}
//开始监听 监听者,缓冲区最多等待几个参数
if (listen(sockfd, 5) < 0) {
perror("listen");//perror打error编码和理由
return 3;
}
#if 0
//一请求一线程
while (1) {
//为请求接入线程 来一个接入一个 最多五个
struct sockaddr_in client_addr;
memset(&client_addr, 0, sizeof(struct sockaddr_in));
socklen_t client_len = sizeof(client_addr);
//拿到客户端id
int clientfd = accept(sockfd, (struct sockaddr*)&client_addr, &client_len);
//创建线程 来一个客户端 创建一个对应的线程
pthread_t thread_id;
pthread_create(&thread_id, NULL, client_routine, &clientfd);
}
#else
//epoll_create()传入的参数只要大于0就好 参数只有0和1的区别
int epfd = epoll_create(1);
//创建一个集合用来存储
struct epoll_event events[EPOLL_SIZE] = { 0 };
//定义一个事件 epoll_event 用来绑定sockfd这个io接口
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = sockfd;
//将sockfd放入epoll_create的集合中 使用EPOLL_CTL_ADD将sockfd加入epfd
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);
while (1) {
//events指集合epfd中几个io有事件
//nready返回的就是数量 当epoll_wait给-1时 在不断循环中直到有事件才会往下走
int nready = epoll_wait(epfd, events, EPOLL_SIZE, 5); // -1 只有有事件的时候才会去访问, 0不管有没有事件都会去访问, n>0 多少时间间隔去访问一次
//没有事件就会返回-1
if (nready == -1) continue;
//如果有事件
int i = 0;
for (i = 0; i < nready; i++) {
//将返回值中的事件拿出来
if (events[i].data.fd == sockfd) { // listen
struct sockaddr_in client_addr;
memset(&client_addr, 0, sizeof(struct sockaddr_in));
socklen_t client_len = sizeof(client_addr);
//监听端口只能由accept来处理数据 其它端口采用recv来处理
拿到客户端id
int clientfd = accept(sockfd, (struct sockaddr*)&client_addr, &client_len);
//将新的fd绑定事件
ev.events = EPOLLIN | EPOLLET; //采用边沿触发一次读完
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, clientfd, &ev);
}
else {
int clientfd = events[i].data.fd;
char buffer[BUFFER_LENGTH] = { 0 };
int len = recv(clientfd, buffer, BUFFER_LENGTH, 0);
if (len < 0) {
close(clientfd);
//关闭之后就要及时清除
ev.events = EPOLLIN;
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_DEL, clientfd, &ev);
}
else if (len == 0) { // disconnect
close(clientfd);
ev.events = EPOLLIN;
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_DEL, clientfd, &ev);
}
else {
printf("Recv: %s, %d byte(s)\n", buffer, len);
}
}
}
}
#endif
return 0;
}3.TCP服务器百万级链接
在上面代码的基础上调试添加实现百万并发
问题一:Connection refused 文件系统默认对于每个进程最大fd个数只有1024 所以程序链接到1023个客户端就自动停止了
解决方法:通过更改/etc/security/limits.conf这个文件
命令:ulimit -a 去查看文件最大个数
ulimit -n 1048576 去更改 临时的 最大文件个数
永久修改:在/etc/security/limits.conf这个文件 中 最后一行加入这两行
* hard nofile 1048576
* soft nofile 1048576
# End of file
然后 sudo reboot 重启系统
发现socket id 依次增加
问题二:socket: Too many open files
error : Too many open files
解决方法:客户端也需要放开文件限制
问题三:request address 客户端地址服务器地址
1.sockfd和ip地址有什么联系
sockfd可以找到一个(远程ip,远程端口,本机ip,本机端口,proto)五元组和sockfd是一对一的关系recv和send分别通过sockfd找到相对应的五元组进行数据访问
recv(clientfd, buffer, BUFFER_LENGTH, 0); //接收数据
send( SOCKET s, const char FAR *buf, int len, int flags );这个问题中除却本机端口其余四个都是固定的 所以导致本机端口被耗尽导致地址出错
解决方法:远程服务器多开端口
int port = atoi(argv[1]); // start
int sockfds[MAX_PORT] = {0}; // listen fd
int epfd = epoll_create(1);
int i = 0;
for (i = 0;i < MAX_PORT;i ++) {
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
struct sockaddr_in addr;
memset(&addr, 0, sizeof(struct sockaddr_in));
addr.sin_family = AF_INET;
addr.sin_port = htons(port+i); // 8888 8889 8890 8891 .... 8987
addr.sin_addr.s_addr = INADDR_ANY;
if (bind(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {
perror("bind");
return 2;
}
if (listen(sockfd, 5) < 0) {
perror("listen");
return 3;
}
printf("tcp server listen on port : %d\n", port + i);
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = sockfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);
sockfds[i] = sockfd;
}//判断是否是监听端口
int islistenfd(int fd, int* fds) {
int i = 0;
for (i = 0; i < MAX_PORT; i++) {
if (fd == *(fds + i)) return fd;
}
return 0;
}问题四: connect time out 连接超时
问题解析 :
1.和端口号无关系
2.查看 fd的属性fs.file-max cat /proc/sys/fs/file-max 与file-max无关
临时配置
echo 100000000000000 > /proc/sys/fs/file-max
永久性配置
编辑/etc/sysctl.conf文件 末尾加入 fs.file-max = 100000000000000
判断不是文件系统的错误 查看是否是防火墙的问题
3.查看防火墙并发连接数 cat /proc/sys/net/netfilter/nf_conntrack_max (内核对防火墙并发的进程个数
尝试修改nf_conntrack_max:vim /etc/svsctl.conf 在最后加入
#net.ipv4.conf.all.log_marians = 1
net.ipv4.tcp_mom = 262144 524288 786432
net.ipv4.tcp_wmom = 1024 1024 2048
net.ipv4.tcp_rmom = 1024 1024 2048
fs.file-max = 1048576
net.nf_conntrack_max = 1048576
wq保存后
使用 sudo sysctl -p 使命令生效问题五:Cannit open /proc/meminfo:Too many open files in system
解决方法:给服务器设置file-max = 1048576
vim /etc/svsctl.conf
#net.ipv4.conf.all.log_marians = 1
fs.file-max = 1048576
net.nf_conntrack_max = 1048576
wq保存后
使用 sudo sysctl -p 使命令生效问题六: sysctl cannot stat /proc/sys/net/netfilter/nf_conntrack_max:No such file or directory
解决办法:在客户端和服务端都加载下面这个代码
sudo modprobe ip_conntrack //加入防火墙
//然后重新
sudo sysctl -p问题七:服务器内存到达百分之百发生内存回收
解决方法:要控制服务器内存的界限只有服务器内存的百分之八十
TCP协议栈
问题八:为什么做的是百万级并发
因为企业常用的服务器大多是百万级的
vim /etc/svsctl.conf
net.ipv4.tcp_mom = 262144 524288 786432 //前两个内存随意分配 第三个之后禁止分配内存 控制服务器内存极限 是tcp协议栈的总大小
net.ipv4.tcp_wmom = 1024 1024 2048 //发送
net.ipv4.tcp_rmom = 1024 1024 2048 //接收 最小1k 中间是默认值 最大2k 配合协议栈总大小
sudo sysctl -pTCP服务器代码:
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <netinet/tcp.h>
#include <arpa/inet.h>
#include <pthread.h>
#include <errno.h>
#include <fcntl.h>
#include <sys/epoll.h>
#define BUFFER_LENGTH 1024
#define EPOLL_SIZE 1024
#define MAX_PORT 100
void* client_routine(void* arg) {
int clientfd = *(int*)arg;
//客户端传入数据
while (1) {
char buffer[BUFFER_LENGTH] = { 0 };
//当recv返回-1的时候意味着 io通道有错 无数据
int len = recv(clientfd, buffer, BUFFER_LENGTH, 0);
if (len < 0) {
close(clientfd);
break;
}
else if (len == 0) { // disconnect 断开链接
close(clientfd);
break;
}
//输出内容
else {
printf("Recv: %s, %d byte(s)\n", buffer, len);
}
}
}
//判断是否是监听端口
int islistenfd(int fd, int* fds) {
int i = 0;
for (i = 0; i < MAX_PORT; i++) {
if (fd == *(fds + i)) return fd;
}
return 0;
}
int main(int argc, char* argv[])
{
//传入参数小于2直接退出
if (argc < 2) {
printf("Param Error\n");
return -1;
}
//设置监听端口 监听
int port = atoi(argv[1]); // atoi 函数将传入的字符串的数字转换为数值
int sockfds[MAX_PORT] = { 0 }; // listen fd 设置端口最大值
//int sockfd = socket(AF_INET, SOCK_STREAM, 0); //属于io
int epfd = epoll_create(1);
int i = 0;
for (i = 0; i < MAX_PORT; i++) {
int sockfd = socket(AF_INET, SOCK_STREAM, 0);
//设置网络地址
struct sockaddr_in addr;
memset(&addr, 0, sizeof(struct sockaddr_in));
addr.sin_family = AF_INET;
//addr.sin_port = htons(port);
addr.sin_port = htons(port + i); // 8888 8889 8890 8891 .... 8987
addr.sin_addr.s_addr = INADDR_ANY;//INADDR_ANY时0.0.0.0代表任意地址
if (bind(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {// 将网络地址和socket的进行绑定
perror("bind"); //等于0成功 -1失败
return 2;
}
//开始监听 监听者,缓冲区最多等待几个参数
if (listen(sockfd, 5) < 0) {
perror("listen");//perror打error编码和理由
return 3;
}
printf("tcp server listen on port : %d\n", port + i);
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = sockfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);
sockfds[i] = sockfd;
}
#if 0
//一请求一线程
while (1) {
//为请求接入线程 来一个接入一个 最多五个
struct sockaddr_in client_addr;
memset(&client_addr, 0, sizeof(struct sockaddr_in));
socklen_t client_len = sizeof(client_addr);
//拿到客户端id
int clientfd = accept(sockfd, (struct sockaddr*)&client_addr, &client_len);
//创建线程 来一个客户端 创建一个对应的线程
pthread_t thread_id;
pthread_create(&thread_id, NULL, client_routine, &clientfd);
}
#else
//epoll_create()传入的参数只要大于0就好 参数只有0和1的区别
//int epfd = epoll_create(1);
//创建一个集合用来存储
struct epoll_event events[EPOLL_SIZE] = { 0 };
//定义一个事件 epoll_event 用来绑定sockfd这个io接口
//struct epoll_event ev;
//ev.events = EPOLLIN;
//ev.data.fd = sockfd;
//将sockfd放入epoll_create的集合中 使用EPOLL_CTL_ADD将sockfd加入epfd
//epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, &ev);
while (1) {
//events指集合epfd中几个io有事件
//nready返回的就是数量 当epoll_wait给-1时 在不断循环中直到有事件才会往下走
int nready = epoll_wait(epfd, events, EPOLL_SIZE, 5); // -1 只有有事件的时候才会去访问, 0不管有没有事件都会去访问, n>0 多少时间间隔去访问一次
//没有事件就会返回-1
if (nready == -1) continue;
//如果有事件
int i = 0;
for (i = 0; i < nready; i++) {
int sockfd = islistenfd(events[i].data.fd, sockfds);
//将返回值中的事件拿出来
if (sockfd) { // listen
struct sockaddr_in client_addr;
memset(&client_addr, 0, sizeof(struct sockaddr_in));
socklen_t client_len = sizeof(client_addr);
//监听端口只能由accept来处理数据 其它端口采用recv来处理
拿到客户端id
int clientfd = accept(sockfd, (struct sockaddr*)&client_addr, &client_len);
fcntl(clientfd, F_SETFL, O_NONBLOCK);
int reuse = 1;
setsockopt(clientfd, SOL_SOCKET, SO_REUSEADDR, (char*)&reuse, sizeof(reuse));
struct epoll_event ev;
//将新的fd绑定事件
ev.events = EPOLLIN | EPOLLET; //采用边沿触发一次读完
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_ADD, clientfd, &ev);
}
else {
int clientfd = events[i].data.fd;
char buffer[BUFFER_LENGTH] = { 0 };
int len = recv(clientfd, buffer, BUFFER_LENGTH, 0);
if (len < 0) {
close(clientfd);
//关闭之后就要及时清除
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_DEL, clientfd, &ev);
}
else if (len == 0) { // disconnect
close(clientfd);
struct epoll_event ev;
ev.events = EPOLLIN;
ev.data.fd = clientfd;
epoll_ctl(epfd, EPOLL_CTL_DEL, clientfd, &ev);
}
else {
printf("Recv: %s, %d %d byte(s)\n", buffer, len,sockfd);
}
}
}
}
#endif
return 0;
}客户端测试代码:
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/epoll.h>
#include <errno.h>
#include <netinet/tcp.h>
#include <arpa/inet.h>
#include <netdb.h>
#include <fcntl.h>
#define MAX_BUFFER 128
#define MAX_EPOLLSIZE (384*1024)
#define MAX_PORT 100
#define TIME_SUB_MS(tv1, tv2) ((tv1.tv_sec - tv2.tv_sec) * 1000 + (tv1.tv_usec - tv2.tv_usec) / 1000)
int isContinue = 0;
static int ntySetNonblock(int fd) {
int flags;
flags = fcntl(fd, F_GETFL, 0);
if (flags < 0) return flags;
flags |= O_NONBLOCK;
if (fcntl(fd, F_SETFL, flags) < 0) return -1;
return 0;
}
static int ntySetReUseAddr(int fd) {
int reuse = 1;
return setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)&reuse, sizeof(reuse));
}
int main(int argc, char **argv) {
if (argc <= 2) {
printf("Usage: %s ip port\n", argv[0]);
exit(0);
}
const char *ip = argv[1];
int port = atoi(argv[2]);
int connections = 0;
char buffer[128] = {0};
int i = 0, index = 0;
struct epoll_event events[MAX_EPOLLSIZE];
int epoll_fd = epoll_create(MAX_EPOLLSIZE);
strcpy(buffer, " Data From MulClient\n");
struct sockaddr_in addr;
memset(&addr, 0, sizeof(struct sockaddr_in));
addr.sin_family = AF_INET;
addr.sin_addr.s_addr = inet_addr(ip);
struct timeval tv_begin;
gettimeofday(&tv_begin, NULL);
while (1) {
if (++index >= MAX_PORT) index = 0;
struct epoll_event ev;
int sockfd = 0;
if (connections < 340000 && !isContinue) {
sockfd = socket(AF_INET, SOCK_STREAM, 0);
if (sockfd == -1) {
perror("socket");
goto err;
}
//ntySetReUseAddr(sockfd);
addr.sin_port = htons(port+index);
if (connect(sockfd, (struct sockaddr*)&addr, sizeof(struct sockaddr_in)) < 0) {
perror("connect");
goto err;
}
ntySetNonblock(sockfd);
ntySetReUseAddr(sockfd);
sprintf(buffer, "Hello Server: client --> %d\n", connections);
send(sockfd, buffer, strlen(buffer), 0);
ev.data.fd = sockfd;
ev.events = EPOLLIN | EPOLLOUT;
epoll_ctl(epoll_fd, EPOLL_CTL_ADD, sockfd, &ev);
connections ++;
}
//connections ++;
if (connections % 1000 == 999 || connections >= 340000) {
struct timeval tv_cur;
memcpy(&tv_cur, &tv_begin, sizeof(struct timeval));
gettimeofday(&tv_begin, NULL);
int time_used = TIME_SUB_MS(tv_begin, tv_cur);
printf("connections: %d, sockfd:%d, time_used:%d\n", connections, sockfd, time_used);
int nfds = epoll_wait(epoll_fd, events, connections, 100);
for (i = 0;i < nfds;i ++) {
int clientfd = events[i].data.fd;
if (events[i].events & EPOLLOUT) {
sprintf(buffer, "data from %d\n", clientfd);
send(sockfd, buffer, strlen(buffer), 0);
} else if (events[i].events & EPOLLIN) {
char rBuffer[MAX_BUFFER] = {0};
ssize_t length = recv(sockfd, rBuffer, MAX_BUFFER, 0);
if (length > 0) {
printf(" RecvBuffer:%s\n", rBuffer);
if (!strcmp(rBuffer, "quit")) {
isContinue = 0;
}
} else if (length == 0) {
printf(" Disconnect clientfd:%d\n", clientfd);
connections --;
close(clientfd);
} else {
if (errno == EINTR) continue;
printf(" Error clientfd:%d, errno:%d\n", clientfd, errno);
close(clientfd);
}
} else {
printf(" clientfd:%d, errno:%d\n", clientfd, errno);
close(clientfd);
}
}
}
usleep(1 * 1000);
}
return 0;
err:
printf("error : %s\n", strerror(errno));
return 0;
}
1033
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
