使用libevent和多线程构建高性能服务器（客户端）

有问题可以联系我zhangtiey@gmail.com

    因为开发数据库集群，节点需要通信，必须构建基于socket的C++网络通信系统。多年前使用UPD写过P2P流媒体，但是现在需要TPC，首先使用了Nanomsg作为网络库，但是开发过程中发现其不靠谱（模式太单一，并且出了问题根本找不到解决办法）。于是又掉头回来使用原生的socket编程。发现目前比较流行的（C++）网络编程使用libevent或者libev，通过调研感觉libevent成熟一些，于是选择了libevent。

    下面说一下在我们数据库集群中对网络通信的使用模式：

1. 每个节点既是客户端又是服务器

2. 每个节点互相简历长连接（短连接的话，每次通信都要建立连接代价太高）

3. 节点之间发送消息使用rpc方式，因此选用了google的protobuf

4. 多线程服务模式，即每个消息都由不同的线程处理，这样复杂的消息也不会阻塞后面的消息。

    综上，我使用的是libevent+protobuf+pthread。libevent可以构建基于回调函数的socket网络库，protobuf提供rpc，pthread和libevent一起工作提供多线程方式。也可以使用std::thread，但是libevent默认支持的是pthread，你也可以在libevent中实现支持std::thread的函数，但是保险期间我还是用了pthread。下面举个具体的例子来说一下工作流程：

例如集群有10个节点，每一个节点都会和其他9个节点进行长连接，即每个节点都由9个socket，对应libevent有9个buffer