负载均衡通讯转发分发器（G5）源代码分析

最新推荐文章于 2024-09-10 15:20:37 发布
最新推荐文章于 2024-09-10 15:20:37 发布
阅读量131 收藏
点赞数
文章标签： epoll 数据结构与算法 git
原文链接：https://my.oschina.net/u/988092/blog/221850
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

负载均衡通讯转发分发器（G5）源代码分析
（以版本v1.1.0为准）

    G5源代码文件只有.c(2400行)和.h(260行)两个源文件，行数虽然不多，但是技术密集度较高，分析源码主要从基于epoll(ET)事件处理应用层框架和转发会话结构管理两方面入手。
    先来看数据结构。主要的数据结构有服务器环境大结构，里面包含了所有参数配置和运行时状态数据，是所有内部函数传递的第一个参数。
[code=c]
/* 服务器环境大结构 */
struct ServerEnv
{
    struct CommandParam        cmd_para ;
    
    struct ForwardRule        *forward_rule ;
    unsigned long            forward_rule_count ;
    
    int                event_env ;
    struct ForwardSession        *forward_session ;
    unsigned long            forward_session_maxcount ;
    unsigned long            forward_session_count ;
    unsigned long            forward_session_use_offsetpos ;
    
    struct ServerCache        server_cache ;
} ;
[/code]
    包含的众多成员中最应关注的是转发规则结构和转发会话结构
[code=c]
/* 转发规则结构 */
struct ForwardRule
{
    char                rule_id[ RULE_ID_MAXLEN + 1 ] ;
    char                rule_mode[ RULE_MODE_MAXLEN + 1 ] ;
    
    unsigned long            timeout ;
    
    struct ClientNetAddress        client_addr[ RULE_CLIENT_MAXCOUNT ] ;
    unsigned long            client_count ;
    
    struct ForwardNetAddress    forward_addr[ RULE_FORWARD_MAXCOUNT ] ;
    unsigned long            forward_count ;
    
    struct ServerNetAddress        server_addr[ RULE_SERVER_MAXCOUNT ] ;
    unsigned long            server_count ;
    unsigned long            select_index ;
    
    union
    {
        struct
        {
            unsigned long    server_unable ;
        } RR[ RULE_SERVER_MAXCOUNT ] ;
        struct
        {
            unsigned long    server_unable ;
        } LC[ RULE_SERVER_MAXCOUNT ] ;
        struct
        {
            unsigned long    server_unable ;
            struct timeval    tv1 ;
            struct timeval    tv2 ;
            struct timeval    dtv ;
        } RT[ RULE_SERVER_MAXCOUNT ] ;
    } status ;
} ;
[/code]
    转发规则结构里的数据主要来源于配置文件，还有一些是由配置处理得到。
    最后一块数据status则是用于负载均衡的内部状态跟踪。
[code=c]
/* 转发会话结构 */
struct ForwardSession
{
    char                forward_session_type ;
    
    struct ClientNetAddress        client_addr ;
    struct ListenNetAddress        listen_addr ;
    struct ServerNetAddress        server_addr ;
    unsigned long            client_session_index ;
    unsigned long            server_session_index ;
    
    struct ForwardRule        *p_forward_rule ;
    unsigned long            client_index ;
    
    char                connect_status ;
    unsigned long            try_connect_count ;
    
    unsigned long            active_timestamp ;
    
    char                io_buffer[ IO_BUFSIZE + 1 ] ;
    long                io_buflen ;
} ;
[/code]
    转发会话结构在转发连接建立时创建，连接断开时销毁。
    一个数据传输方向对应一个会话，一般一个连接请求对应两段TCP连接也对应两个会话结构。成员forward_session_type表示是客户端到服务端数据传输方向还是服务端到客户端数据传输方向。得到一个会话结构可以通过成员client_session_index和server_session_index得到另一个会话结构。
    成员p_forward_rule指向该会话使用的转发规则结构。
    成员client_addr、listen_addr和分别对应客户端、转发端（本地侦听端）和服务端信息。
    成员connect_status用于跟踪异步连接模式下的建立状态。
    成员io_buffer用于会话数据传输时的缓冲区，便于异步处理。
    
    了解了几个主要的数据结构后我们开始分析源代码。
    
    main函数主要解析命令行参数和显示语法，调用G5函数
    
    G5函数主要是创建epoll池、装载配置文件、调用服务器主工作循环（ServerLoop函数）、销毁epoll池
    pse->event_env = epoll_create( pse->forward_session_maxcount ) ;
    nret = LoadConfig( pse ) ;
    nret = ServerLoop( pse ) ;
    close( pse->event_env );
    
    ServerLoop函数负责服务器主循环，即批量等待epoll事件，有epoll事件发生时，处理之
    sock_count = epoll_wait( pse->event_env , events , WAIT_EVENTS_COUNT , 1000 ) ;
        如果是侦听端口事件
        if( p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_LISTEN )
            管理端口事件，调用函数AcceptManageSocket
            if( strcmp( p_forward_session->listen_addr.rule_mode , FORWARD_RULE_MODE_G ) == 0 )
                nret = AcceptManageSocket( pse , p_event , p_forward_session ) ;
            转发端口事件，调用函数AcceptForwardSocket
            else
                nret = AcceptForwardSocket( pse , p_event , p_forward_session ) ;
        如果是输入事件
        else if( p_event->events & EPOLLIN )
            管理端口输入事件，调用函数ReceiveOrProcessManageData
            if( p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_MANAGE )
                nret = ReceiveOrProcessManageData( pse , p_event , p_forward_session ) ;
            转发端口输入事件，调用函数TransferSocketData
            else if( p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_CLIENT || p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_SERVER )
                nret = TransferSocketData( pse , p_event , p_forward_session ) ;
        如果是输出事件
        else if( p_event->events & EPOLLOUT )
            异步连接建立响应事件，调用函数SetSocketConnected
            if( p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_SERVER && p_forward_session->connect_status == CONNECT_STATUS_CONNECTING )
                nret = SetSocketConnected( pse , p_event , p_forward_session ) ;
            异步发送sock可写事件，调用函数ContinueToWriteSocketData
            else if( p_forward_session->connect_status == CONNECT_STATUS_CONNECTED )
                nret = ContinueToWriteSocketData( pse , p_event , p_forward_session ) ;
        如果是错误事件
        else if( p_event->events & EPOLLERR )
            调用函数ResolveSocketError
            nret = ResolveSocketError( pse , p_event , p_forward_session ) ;
    
    函数AcceptForwardSocket用于在有客户端接入时，查询转发规则，转连到对应服务端上
        循环接受转发端口连接，epoll(ET)边缘触发时必须把一口气把所有事件都处理掉，包含客户端接入事件
            接受客户端接入
            client_addr.sock = accept( p_forward_session->listen_addr.sock , (struct sockaddr *) & (client_addr.netaddr.sockaddr) , & addr_len ) ;
            查询转发规则
            nret = MatchForwardRule( pse , & client_addr , & (p_forward_session->listen_addr) , & p_forward_rule , & client_index ) ;
            连接服务端(函数ConnectToRemote)
            nret = ConnectToRemote( pse , p_event , p_forward_session , p_forward_rule , client_index , & client_addr , TRY_CONNECT_MAXCOUNT ) ;
    
    函数ConnectToRemote用于有客户端接入时转连服务端
        创建转连的本地客户端sock
        server_addr.sock = socket( AF_INET , SOCK_STREAM , IPPROTO_TCP );
        设置非堵塞模式
        SetNonBlocking( server_addr.sock );
        根据转发规则，选择目标网络地址(函数SelectServerAddress)。如果有多个服务端地址的话按负载均衡算法选择
        nret = SelectServerAddress( pse , p_client_addr , p_forward_rule , server_addr.netaddr.ip , server_addr.netaddr.port ) ;
        连接目标网络地址
        nret = connect( server_addr.sock , ( struct sockaddr *) & (server_addr.netaddr.sockaddr) , addr_len );
        如果连接建立中
        if( nret < 0 ) if( errno != EINPROGRESS )
            登记服务端转发会话到会话池中（会话连接状态为正在连接中），登记sock到epoll池
            epoll_ctl( pse->event_env , EPOLL_CTL_ADD , p_forward_session_server->server_addr.sock , & server_event );
        如果连接建立完成（本地连接自己时大概率发生）
            登记客户端转发会话到会话池中（会话连接状态为连接成功），登记sock到epoll池
            epoll_ctl( pse->event_env , EPOLL_CTL_ADD , p_forward_session_client->client_addr.sock , & client_event );
            登记服务端转发会话到会话池中（会话连接状态为连接成功），登记sock到epoll池
            epoll_ctl( pse->event_env , EPOLL_CTL_ADD , p_forward_session_server->server_addr.sock , & server_event );
    
    函数SetSocketConnected用于之前正在连接服务端的会话当连接成功事件发生时处理
        登记客户端转发会话到会话池中（会话连接状态为连接成功），登记sock到epoll池
        p_forward_session_client->connect_status = CONNECT_STATUS_CONNECTED ;
        epoll_ctl( pse->event_env , EPOLL_CTL_ADD , p_forward_session_client->client_addr.sock , & client_event );
        更新服务端转发会话连接状态连接成功
        p_forward_session_server->connect_status = CONNECT_STATUS_CONNECTED ;
        epoll_ctl( pse->event_env , EPOLL_CTL_MOD , p_forward_session_server->server_addr.sock , & server_event );
        （等连接建立后，一对会话进入等待数据输入事件EPOLLIN）
    
    函数TransferSocketData用于从一个准备好数据输入的会话中接收数据，并转发给服务端
        循环从客户端sock中接收数据，epoll(ET)边缘触发时必须把一口气把所有事件都处理掉
            接收通讯数据
            p_out_forward_session->io_buflen = recv( in_sock , p_out_forward_session->io_buffer , IO_BUFSIZE , 0 ) ;
            如果没有接收数据了，跳出循环
            if( p_out_forward_session->io_buflen < 0 ) if( errno == EAGAIN )
            如果接收失败，关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->client_addr.sock , NULL );
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->server_addr.sock , NULL );
            SetForwardSessionUnitUnused2( & (pse->forward_session[p_forward_session->client_session_index]) , & (pse->forward_session[p_forward_session->server_session_index]) );
            如果接收到输入端断开连接事件，关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->client_addr.sock , NULL );
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->server_addr.sock , NULL );
            SetForwardSessionUnitUnused2( & (pse->forward_session[p_forward_session->client_session_index]) , & (pse->forward_session[p_forward_session->server_session_index]) );
            循环发送数据到服务端sock
                发送通讯数据
                len = send( out_sock , p_out_forward_session->io_buffer , p_out_forward_session->io_buflen , 0 ) ;
                如果底层发送缓冲区满了，则暂停客户端sock输入事件EPOLLIN监控，启用服务端sock输出事件EPOLLOUT监控，跳出循环发送
                if( len < 0 ) if( errno == EAGAIN )
                    epoll_ctl( pse->event_env , EPOLL_CTL_MOD , in_sock , & in_event );
                    epoll_ctl( pse->event_env , EPOLL_CTL_MOD , out_sock , & out_event );
                如果发送出错，关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
                epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->client_addr.sock , NULL );
                epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->server_addr.sock , NULL );
                SetForwardSessionUnitUnused2( & (pse->forward_session[p_forward_session->client_session_index]) , & (pse->forward_session[p_forward_session->server_session_index]) );
                如果发送完了，跳出循环
                else if( len == p_out_forward_session->io_buflen )
                    break;
                否则继续发送未发送数据
                else
                    p_out_forward_session->io_buflen -= len ;
                    memmove( p_out_forward_session->io_buffer , p_out_forward_session->io_buffer + len , p_out_forward_session->io_buflen );
    
    函数ContinueToWriteSocketData用于处理之前底层发送缓冲区满了引发的异步发送机制
        循环继续发送未发送数据到服务端sock
            发送通讯数据
            len = send( out_sock , p_out_forward_session->io_buffer , p_out_forward_session->io_buflen , 0 ) ;
            如果底层发送缓冲区满了，跳出循环发送
            if( len < 0 ) if( errno == EAGAIN )
                break;
            如果发送出错，关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
                epoll_ctl( pse->event_env , EPOLL_CTL_DEL , in_sock , NULL );
                epoll_ctl( pse->event_env , EPOLL_CTL_DEL , out_sock , NULL );
                SetForwardSessionUnitUnused2( & (pse->forward_session[p_forward_session->client_session_index]) , & (pse->forward_session[p_forward_session->server_session_index]) );
            如果发送完了，恢复客户端sock输入事件EPOLLIN监控，暂停服务端sock输出事件EPOLLOUT监控，跳出循环
            else if( len == p_out_forward_session->io_buflen )
                epoll_ctl( pse->event_env , EPOLL_CTL_MOD , in_sock , & in_event );
                epoll_ctl( pse->event_env , EPOLL_CTL_MOD , out_sock , & out_event );
                break;
            否则继续发送
            else
                p_out_forward_session->io_buflen -= len ;
                memmove( p_out_forward_session->io_buffer , p_out_forward_session->io_buffer + len , p_out_forward_session->io_buflen );
    
    函数ResolveSocketError用于所有sock出错时，关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
        如果是异步连接事件
        if( p_forward_session->forward_session_type == FORWARD_SESSION_TYPE_SERVER && p_forward_session->connect_status == CONNECT_STATUS_CONNECTING )
            设置之前选择目标服务器不可用状态
            nret = OnServerUnable( pse , p_forward_session->p_forward_rule ) ;
            选择新目标服务器，连接之
            nret = ConnectToRemote( pse , p_event , p_forward_session , p_forward_session->p_forward_rule , p_forward_session->client_index , & (p_forward_session->client_addr) , --p_forward_session->try_connect_count ) ;
            清理之前临时创建的服务端会话结构
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->server_addr.sock , NULL );
            SetForwardSessionUnitUnused( p_forward_session );
        如果是数据交换报错事件
            关闭客户端和服务端sock、删除epoll池中一对sock，删除转发会话
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->client_addr.sock , NULL );
            epoll_ctl( pse->event_env , EPOLL_CTL_DEL , p_forward_session->server_addr.sock , NULL );
            SetForwardSessionUnitUnused2( & (pse->forward_session[p_forward_session->client_session_index]) , & (pse->forward_session[p_forward_session->server_session_index]) );
    
    epoll(ET)事件处理应用层框架源代码主线分析完成，希望通过分析其源代码，可以帮助读者理解其设计思路和代码结构，审核作者编码缺陷，提高使用准确性，也有助于读者在许可证允许条件下fork自己的版本。
    如有意见或建议欢迎及时联系我
    开源项目首页 : http://git.oschina.net/calvinwilliams/G5
    作者邮箱 : calvinwilliams.c@gmail.com

转载于:https://my.oschina.net/u/988092/blog/221850

weixin_34281537
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
通讯转发、(负载均衡)通讯分发器 G5
lhh1113的博客
10-22 1324
转自： http://www.oschina.net/p/g5/similar_projects?fromerr=dVgTGvxP 通讯转发、(负载均衡)通讯分发器 - G5 1.概述     G5是一款高性能高并发负载、易配置使用、支持远程管理的轻量级TCP/IP的通讯转发、(负载均衡)通讯分发器软件。基于epoll(ET)事件驱动非堵塞全异步无锁框架实现（在非Linux操作系
负载均衡器技术Nginx和F5的优缺点对比
热门推荐
zxc456733的博客
12-21 3万+
nginx（一） nginx详解        nginx是一个被广泛使用的集群架构组件，我们有必要对它有足够的了解。下面将先认识nginx：包括应用场景、nginx基本架构、功能特性、并发模型以及配置说明，最后我们再总结下，为什么选择nginx的原因。 1、nginx应用        nginx （engine x）是一个可以作为HTTP WEB服务器、反
Java WEB--学习笔记
chenxi0905的博客
11-03 227
Java WEBServlet核心技术基本概念HTTP协议的概念Tomcat服务器Servlet的概念和使用POST和GET请求Servlet接收中文乱码ServletConfig接口ServletContext接口Servlet+JDBC应用重定向和转发Servlet线程安全Cookie技术Session技术JSP核心技术JSP内置对象JavaBean组件MVC设计模式 Servlet核心技术 基本概念 C/S架构优点： 客户端的界面和功能可以很丰富 应用服务器负载较轻 相应速度较快 C/S架构缺点： 适
Nginx+Tomcat搭建负载均衡，实现网站请求的分发
11-11
Nginx+Tomcat搭建负载均衡，实现网站请求的分发 Nginx+Tomcat搭建负载均衡是实现网站请求的分发的常见解决方案。以下是该解决方案的详细知识点说明： 一、负载均衡的概念 负载均衡是指将网络请求分配到多个服务器...
nginx负载均衡及分发设定
日常博客
03-18 3895
配置文件所在目录 nginx目录/conf/nginx.conf 配置文件举例 #user nobody;worker_processes 4; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 4096; } h...
nginx 负载均衡的三种分发方式
ShenZ的博客
08-01 1829
link 负载均衡的分发方式 轮询机制 最少连接机制 ip-hash 机制 轮询机制-按照权重轮询 最简单的负载均衡配置如下： http { upstream myapp1 { server srv1.example.com; server srv2.example.com; server srv3.example.com; } server { listen 80; location
负载均衡详细介绍 — 算法与转发实现
To be a great coder
06-11 2065
什么是负载均衡？ 当一台应用服务器的性能达到极限时，我们可以使用集群这种技术手段来提高网站的整体性能。那么，在服务器集群中，需要有一台服务器充当调度者的角色，用户的所有请求都会首先由它接收，调度者再根据每台服务器的负载情况将请求分配给某一台应用服务器去处理。 这个调度者就是负载均衡服务器。 负载均衡服务器可以用来实现网站架构的高可用以及伸缩性： 高可用：当某个节点故障时，负载均衡器会将用户请求转...
select、poll、epoll的原理
m0_45164511的博客
09-05 929
在 select/poll中，进程只有在调用一定的方法后，内核才对所有监视的文件描述符进行扫描，而epoll事先通过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用类似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait() 时便得到通知。(此处去掉了遍历文件描述符，而是通过监听回调的的机制。这正是epoll的魅力所在。epoll的优点主要是一下几个方面：1.监视的描述符数量不受限制，它所支持的FD上限是最大可以打开文件的数目。
IO多路复用
最新发布
weixin_63207763的博客
09-10 617
select：适用于小规模应用，简单易用但有文件描述符限制。poll：比select更灵活，适用于中等规模应用，但性能瓶颈仍然存在。epoll：最适合大规模、高并发应用，性能优越但在 Linux 上才可用。每有一个客户端连接创建一个进程进行通信创建套接字：使用socket()函数创建一个用于通信的套接字。绑定地址：用bind()函数将套接字绑定到指定的 IP 地址和端口上。监听连接：调用listen()函数，使服务器开始监听客户端的连接请求。接受连接：使用accept()
网络第五章：多路转接
qincjun的博客
09-05 582
2.HTTP1.1采用了长连接的方式来进行通信：建立连接，服务器响应完之后，不断开连接，活跃的用户对服务器发送请求，服务器都会正常响应；对不活跃的用户，不进行任何操作；events是分配好的epoll_event结构体数组.epoll将会把发生的事件赋值到events数组中 (events不可以是空指针，内核只负责把数据复制到这个events数组中，不会去帮助我们在用户态中分配内存).epoll通过这些值的设定，来监视fd的行为，如果fd做了这些行为，则会通过epoll_wait来反馈给上层，进行处理。
select、poll、epoll的区别
weixin_38184628的博客
09-07 999
select、poll、epoll均为linux中的多路复用技术。3种技术出现的顺序是select、poll、epoll，3个版本反应了多路复用技术的迭代过程。我们现在开发网络应用时， 一般都会使用多路复用，很少有用一个线程来监听一个fd的，其中epoll又是最常使用的。关于epoll的实现和常见问题可以参考。当我们在使用epoll的时候，会想当然的认为这种技术是理所应当的，这就是多路复用技术应该的样子。殊不知，从select到poll再到epoll也经历了一定的过程，epoll并不是一开始就出现的。
C++网络编程
qq_51330350的博客
09-05 1269
C++网络编程 tcp udp http
嵌入式面试刷题
m0_49476241的博客
09-07 490
回调函数（Callback Function）是在编程中一种常用的概念，指的是将一个函数作为参数传递给另一个函数，并在适当的时机由该函数调用它。简单来说，回调函数就是**“在某个事件或条件触发时由别的函数调用的函数”**。概念：旨在检测和恢复系统故障。它是一种硬件计时器，要求系统在规定的时间内定期对其进行复位（喂狗）。如果系统没有及时复位看门狗，计时器将会溢出，并触发一种预定的响应，通常是系统复位或重启。防止系统卡死。
Linux：epoll 工作模式
MaoRuofeng的博客
09-10 595
和是epoll两种不同的工作模式，它们在处理I/O事件时有不同的行为。
TinyWebSever源码逐行注释(二)_lst_timer.cpp
qq_39969848的博客
09-09 420
Linux下C++轻量级Web服务器，助力初学者快速实践网络编程，搭建属于自己的服务器.
Epoll 用法
weixin_43401039的博客
09-05 190
Epoll 用法
LVS与Nginx负载均衡深度对比分析
"LVS与Nginx作为两种常见的负载均衡解决方案，它们在负载均衡领域有着不同的适用场景和特点。LVS主要工作在四层，而Nginx则更倾向于在七层进行负载分发。" **LVS负载均衡器** LVS（Linux Virtual Server）是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值