Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池)

最新推荐文章于 2022-09-12 22:04:15 发布
最新推荐文章于 2022-09-12 22:04:15 发布
阅读量1.5k 收藏 4
点赞数 1
分类专栏： Linux网络编程之IOCP/epoll 文章标签： epoll

文章来源：http://blog.csdn.net/wuyuxing24/article/details/48758927

一, 背景

       先说下我要实现的功能，server端一直在linux平台下面跑，当客户端有请求过来的时候server端接受到请求，拿到客户端的数据，根据拿到的数据做出相应的处理，得到处理的结果直接把结果数据发送给客户端。这样一个连接的请求结束，我的不是长连接的情况，不会一直保持客户端的连接。来一个处理一个处理完了就结束了。

二，源码下载（包括客户端测试代码）

  1. 我把逻辑处理部分简单化了，如果这份代码对你们有用的话，可以自己实现逻辑处理部分。
  2. 代码是要传入参数的，端口

  3. 代码我已经在Linux下面编译过了，也测试号了，因为代码中用到了数据库，如果你没有编译过可能要在Linux下装MySQL数据库。

    源码下载地址

三，代码的简单介绍

  • socket接受线程：C语言为了高并发所以选择了epoll。当程序启动的时候（g_net_update.c文件中main函数，会启动一个thread见函数create_accept_task）这个thread就处理一件事情，只管接收客户端的连接，当有连接进来的时候 通过epoll_ctl函数，把socket fd 加入到epoll里面去，epoll设置监听事件EPOLLIN | EPOLLET; 主要是监听的是加入到epoll中的socket是否可读(因为我的需求是客户端连上了server就会马上向server发送一份数据的)。其它的部分在主线程中处理。

  • 主线程：是一个无线循环，epoll_wait 函数相当于把客户端的连接从epoll中拿出来（因为我们监听的是EPOLLIN | EPOLLET）说明这个时候客户端有数据发送过来）。再通过recv_buffer_from_fd 函数把客户端发送过来的数据读出来。然后其他的一切就抛给线程池去处理。

  • 线程池：(代码中我会在池里面创建15个线程) 双向链表。加入线程就是在链表后面加一个链表项，链表的前面会一个一个被拿出来处理。主要是malloc 函数free函数，sem_wait函数sem_post的处理（sem_wait 会阻塞当值大于0是会减一，sem_post是值加一）。typedef void* (FUNC)(void arg, int index);是我们自定义的线程的逻辑处理部分，arg是参数，index是第几个线程处理(我们隐形的给每个线程都标了号)，例如代码中的respons_stb_info，更加具体可以看看代码里面是怎么实现的。聪明的你也可以改掉这块的内容改成动态线程池，当某个时刻的处理比较多的时候能够动态的增加线程，而不像我代码里面的是固定的。

  • 数据库连接池：按照我的需求在处理客户端请求数据的时候是要访问数据库的。就是一下子创建出一堆的数据连接。要访问数据库的时候先去数据库连接池中找出空闲的连接，具体可以看下代码。使用的时候可以参考下database_process.c文件（代码中数据库连接池和线程池中的个数是一样的）。这里我想说下get_db_connect_from_pool这个函数，我用了随机数，我是为了不想每次都从0开始去判断哪个连接没有用到。为了数据库连接池中的每个链接都能等概率的使用到，具体的还是可以看下代码的实现。

  • log文件，代码中是可以自动保存log信息到文件中去的，具体可以看下代码。

四，碰到的一些问题和解决办法

  • 最初的时候server程序跑起来占掉了linux 90%多的使用率，因为是我们在create_accept_task 中socket没有设置成阻塞的。

  • server经常碰到一些莫名其妙的死机，没办法用了core dump 去抓死机的堆栈信息看在哪个函数死机的。

  • 在处理数据库的时候有的数据会自动的断掉(说是说8个小时) 后来采用的办法是每次都先mysql_ping一次让他重新连接上。

    就说几点吧，其实还有好多其他的就不说了。

五，在Linux下面用到的几个命令

  • ./server程序名 & //加&后台运行。

  • killall server程序名 // 停掉server的运行。要在server目录下面执行

  • netstat -antp|grep :端口号 // 查看端口下的socket状态

  • ps -eaf | grep server程序名 // 检查程序是否在运行，不过我一般是netstat -antp|grep :端口号 来看程序是否在运行。

好了 就到这里吧，如果你想实现java的高并发可以稍微看下 Linux java + apache mina + maven 实现高并发服务器


利白
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
linux C/C++ 数据库连接池
04-12
Linux 下C/C++实现的一个数据库连接池，可以编译，可以运行
基于线程池+Epoll（IO多路复用）的高并发服务器（附C++源码）
iuu77的博客
11-28 4053
简介：这是一个基于线程池+Epoll的IO多路复用、非阻塞IO技术，的高并发服务器框架。称它为框架是因为服务器功能非常简单且无意义，使用时应该把这个功能替换掉。但它可以直接拿来使用，很方便，所以也算半个项目。服务器的默认功能：客户端输入什么内容，服务器就返回什么内容。后续想实现什么功能，修改功能函数就可以。语言标准：C++11。
(c语言)即时通讯系统---epoll+线程池 版本
m0_70681152的博客
09-12 3642
epoll1.相比较: select内部使用数组实现，poll是链表。他们需要做内核区到用户区的转换，还需要做数据拷贝，因此效率低2.epoll不需要做内核区到用户区的转换，因为数据存在共享内存中。epoll维护的树在共享内存中，内核区和用户区去操作共享内存，因此不需要区域转换，也不需要拷贝操作。线程池(1）降低销毁资源：重复利用线程池中已经存在的线程，减少了线程的创建和消亡造成的性能开销。(2）提高了相应速率：当任务到达时，任务可以不需要等到线程创建就能够执行。
【Epoll】Linux + C + Epoll实现高并发服务器(线程池 + 数据库连接池) --研读+实践
bandaoyu的note
06-21 1610
一, 背景 先说下我要实现的功能，server端一直在linux平台下面跑，当客户端有请求过来的时候server端接受到请求，拿到客户端的数据，根据拿到的数据做出相应的处理，得到处理的结果直接把结果数据发送给客户端。这样一个连接的请求结束，我的不是长连接的情况，不会一直保持客户端的连接。来一个处理一个处理完了就结束了。 二，源码下载（包括客户端测试代码） 我把逻辑处理部分简单化了，如果这份代码对你们有用的话，可以自己实现逻辑处理部分。 代码是要传入参数的，端口 代码我已经在Linux...
Linux下基于epoll 线程池高并发服务器实现研究.pdf
09-06
Linux下基于epoll 线程池高并发服务器实现研究.pdf
Linux下基于epoll_线程池高并发服务器实现研究
06-01
Linux下基于epoll_线程池高并发服务器实现研究，研究Linux的人可以看看。
Linux下Epoll+线程池的简单Web服务器
01-20
这是一个简单的web服务器利用Linux下的线程池技术和Epoll机制 简单粗略有不足的欢迎指导
C语言+epoll+线程池实现的聊天室.zip
10-15
C语言+epoll+线程池实现的聊天室.zip
Linux下使用EPoll+队列+多线程的C++实现
12-24
该源代码使用linux的网络IO多路复用模型epoll在建立tcpserver，对用队列来缓存请求，使用线程池来处理请求。
epoll+线程池
06-12
Linux + C + Epoll实现高并发服务器，运用线程池技术。
epoll+线程池实现高并发
可乐小浣熊
09-27 5623
       epoll模型是linux实现高并发的一种方法，基于事件驱动模型，相比于select/poll  模型具有更高的效率，本人对epoll模型做了一个简易的封装，更多的功能还在完善中，在这里仅做学习参考用。      在epoll编程中，有三个非常重要的函数：       1. int epoll_create(int size)     :创建epoll 句柄， 入参是表示监听的数...
c++简易的Epoll线程池
m0_56312755的博客
03-21 2158
就一个使用了Epoll的简易线程池：） 线程池头文件 Sesame_Pool.h #include<sys/socket.h> #include<sys/types.h> #include<netinet/in.h> #include<unistd.h> #include<arpa/inet.h> #include<sys/epoll.h> #include<error.h> #include<mutex&gt
线程池的C++实现
weixin_52374493的博客
09-12 378
//先看主体流程，再细分到具体函数的实现。 //首先初始化线程池，里面涉及到初始化任务队列，然后开启线程池，即循环创建线程 //准备工作做完后，就可以处理客户端的请求了。建立TCP监听套接字，并且初始化一下 //即bind绑定ip,port //再用epoll去管理套接字，进入while(1)循环,处理具体的客户端请求 //以下是以传输文件为任务实现的工作线程。 int main(int argc,char* argv[]){ ARGS_CHECK(argc,4); int threadN
【项目学习】C++实现高并发服务器——代码学习（一）Reactor高并发模型
vhcjgc的博客
04-10 4559
项目来源：WebServer 上一篇：环境搭建 本文介绍以下功能的代码实现 利用IO复用技术Epoll与线程池实现多线程的Reactor高并发模型； 一、IO复用技术 IO多路复用使得程序能同时监听多个文件描述符，能够提高程序的性能，Linux下实现IO多路复用的系统调用主要有select. poll和epoll。 I/O 多路复用 1、epoll函数族 epoll_creat： 该函数生成一个epoll专用的文件描述符 #include <sys/epoll.h> int epoll_cr
C++多线程网络服务器项目（1）——概述
shhchen的博客
02-22 3887
A C++ High Performance NetServer (version 0.x.0) GitHub项目地址：https://github.com/chenshuaihao/NetServer 如果对您有帮助的话，欢迎点赞star哦！谢谢大家！ Introduction 本项目为C++编写的基于epoll的网络服务器框架，应用层实现了简单的HTTP服务器HttpServer和一个回显服...
C++高性能服务器开发 epoll+线程池模型
好几个交换机吧的博客
06-16 1233
文章目录前言epoll 部分线程池部分整体设计: 前言 最近在总结之前做的恋爱交由平台的项目。在优化服务器时，将一开始使用的同步阻塞+多线程，替换为现在的epoll+线程池模型。提高了并发的能力，可以实现C10k的目标。 因此，特写此文，用来记录epoll+线程池模型。为相同需求的同学提供优化思路。 epoll 部分 首先要做的还是socket的创建，绑定，监听。并且创建epoll的句柄，同时将监听socket挂载到红黑树上，方便以后客户端有连接请求时可以建立连接。 int TcpNet::InitNe
【Epoll】epoll+线程池实现高并发（C++）--编辑中
bandaoyu的note
06-21 2239
在epoll编程中，有三个非常重要的函数： 1. int epoll_create(int size):创建epoll 句柄， 入参是表示监听的数目是多大。 2. int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)： 事件注册函数， @param1：epoll句柄，epoli_create()的返回值， @param2： 表示注册的行为， 有ADD事件 、MOD事件、DEL事件，...
epoll线程池实现高并发服务器c++11
最新发布
01-05
以下是使用epoll和线程池实现高并发服务器的C++11代码示例： ```cpp #include <iostream> #include <thread> #include <vector> #include <queue> #include <mutex> #include <condition_variable> #include <sys/epoll.h> #include <unistd.h> #define MAX_EVENTS 100 #define THREAD_POOL_SIZE 10 std::mutex mtx; std::condition_variable cv; std::queue<int> taskQueue; void workerThread() { while (true) { std::unique_lock<std::mutex> lock(mtx); cv.wait(lock, [] { return !taskQueue.empty(); }); int fd = taskQueue.front(); taskQueue.pop(); // 处理任务，这里可以根据具体需求进行处理 lock.unlock(); // 继续监听其他事件 } } int main() { // 创建epoll句柄 int epoll_fd = epoll_create(1); if (epoll_fd == -1) { std::cerr << "Failed to create epoll" << std::endl; return 1; } // 创建线程池 std::vector<std::thread> threadPool; for (int i = 0; i < THREAD_POOL_SIZE; ++i) { threadPool.emplace_back(workerThread); } // 添加监听事件到epoll句柄 struct epoll_event event; event.events = EPOLLIN; event.data.fd = /* 监听的文件描述符 */; if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, /* 监听的文件描述符 */, &event) == -1) { std::cerr << "Failed to add event to epoll" << std::endl; return 1; } // 开始监听事件 struct epoll_event events[MAX_EVENTS]; while (true) { int num_events = epoll_wait(epoll_fd, events, MAX_EVENTS, -1); if (num_events == -1) { std::cerr << "Failed to wait for events" << std::endl; return 1; } for (int i = 0; i < num_events; ++i) { if (events[i].events & EPOLLIN) { // 处理读事件，将任务添加到任务队列 std::lock_guard<std::mutex> lock(mtx); taskQueue.push(events[i].data.fd); cv.notify_one(); } } } // 清理资源 close(epoll_fd); for (auto& thread : threadPool) { thread.join(); } return 0; } ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值