基于c++11新标准开发一个支持多线程高并发的网络库

原创 2015年07月09日 17:39:41

背景

        新的c++11标准出后,c++语法得到了很多的扩展,比起以往任何时候都要灵活和高效,提高了程序编码的效率,为软件开发人员节省了不少的时间。 之前我也写过基于ACE的网络服务器框架,但ACE毕竟有些臃肿,内部对象关系错综复杂,容易给人造成只见树木不见森林的错觉。 所以打算用c++11开发一个较为简洁,高效,支持高并发的网络库。

开源

        基础的结构已经开发完成,代码也开源在github上,网址是 https://github.com/lichuan/fly 欢迎各位提出建议。

结构

        fly网络库主要分为base模块,task模块,net模块。base主要是一些最基础的功能集合,包括日志,id分配器,随机数,队列等;task主要封装了任务抽象以及任务调度执行等功能;net主要是实现网络层面的封装,为上层使用者提供简单易用的网络接口,这也是fly库的核心模块,实现了解析协议的Parser封装,负责监听网络的Acceptor,负责网络连接io功能的Poller封装体,在Parser、Acceptor、和Poller的基础上还进一步封装了作为服务器来使用的Server类和作为客户端来使用的Client类,这两个类是fly库的核心类,上层的应用可以直接使用Server对象和Client对象来建立网络服务器。作为网络连接概念的Connection对象则是通过std::shared_ptr来管理它的生命周期的,shared_ptr内置共享对象的功能大大地简化了网络连接生命期的管理。

协议

        fly库的网络协议基于全世界最通用的json格式,而它的解析则依赖于rapidjson第三方库来完成。

        协议组成如下:

        |长度字段|{协议类型:类型值,协议命令:命令值,其他json字段}|

        协议类型和协议命令组成了二级消息字,就可以组合出各种约定的协议了。

应用

        fly库的test目录提供了一个简单的例程。其中test_server.cpp代码如下:

/* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *
 *                    _______    _                                     *
 *                   (  ____ \  ( \     |\     /|                      * 
 *                   | (    \/  | (     ( \   / )                      *
 *                   | (__      | |      \ (_) /                       *
 *                   |  __)     | |       \   /                        *
 *                   | (        | |        ) (                         *
 *                   | )        | (____/\  | |                         *
 *                   |/         (_______/  \_/                         *
 *                                                                     *
 *                                                                     *
 *     fly is an awesome c++11 network library.                        *
 *                                                                     *
 *   @author: lichuan                                                  *
 *   @qq: 308831759                                                    *
 *   @email: 308831759@qq.com                                          *
 *   @github: https://github.com/lichuan/fly                           *
 *   @date: 2015-06-10 13:34:21                                        *
 *                                                                     *
 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * */

#include <unistd.h>
#include <unordered_map>
#include "fly/init.hpp"
#include "fly/net/server.hpp"
#include "fly/base/logger.hpp"

using namespace std::placeholders;

class Test_Server : public fly::base::Singleton<Test_Server>
{
public:
    bool allow(std::shared_ptr<fly::net::Connection> connection)
    {
        return true;
    }
    
    void init(std::shared_ptr<fly::net::Connection> connection)
    {
        std::lock_guard<std::mutex> guard(m_mutex);
        m_connections[connection->id()] = connection;
        LOG_INFO("connection count: %u", m_connections.size());
    }
    
    void dispatch(std::unique_ptr<fly::net::Message> message)
    {
        std::shared_ptr<fly::net::Connection> connection = message->get_connection();
        const fly::net::Addr &addr = connection->peer_addr();
        LOG_INFO("recv message from %s:%d raw_data: %s", addr.m_host.c_str(), addr.m_port, message->raw_data().c_str());
    }
    
    void close(std::shared_ptr<fly::net::Connection> connection)
    {
        LOG_INFO("close connection from %s:%d", connection->peer_addr().m_host.c_str(), connection->peer_addr().m_port);
        std::lock_guard<std::mutex> guard(m_mutex);
        m_connections.erase(connection->id());
        LOG_INFO("connection count: %u", m_connections.size());
    }
    
    void be_closed(std::shared_ptr<fly::net::Connection> connection)
    {
        LOG_INFO("connection from %s:%d be closed", connection->peer_addr().m_host.c_str(), connection->peer_addr().m_port);
        std::lock_guard<std::mutex> guard(m_mutex);
        m_connections.erase(connection->id());
        LOG_INFO("connection count: %u", m_connections.size());
    }
    
    void main()
    {
        //init library
        fly::init();
        
        //init logger
        fly::base::Logger::instance()->init(fly::base::DEBUG, "server", "./log/");
        
        //test tcp server
        std::unique_ptr<fly::net::Server> server(new fly::net::Server(fly::net::Addr("127.0.0.1", 8899),
                                                                      std::bind(&Test_Server::allow, this, _1),
                                                                      std::bind(&Test_Server::init, this, _1),
                                                                      std::bind(&Test_Server::dispatch, this, _1),
                                                                      std::bind(&Test_Server::close, this, _1),
                                                                      std::bind(&Test_Server::be_closed, this, _1)));

        if(server->start())
        {
            LOG_INFO("start server ok!");
            server->wait();
        }
        else
        {
            LOG_ERROR("start server failed");
        }
    }
    
private:
    std::unordered_map<uint64, std::shared_ptr<fly::net::Connection>> m_connections;
    std::mutex m_mutex;
};

int main()
{
    Test_Server::instance()->main();
}

        Server对象构造时会要求传入监听地址和回调函数,当Server对象start启动时,fly库底层就会建立相应的Poller、Parser、Acceptor对象,如果想实现多线程Poller和Parser,则需传入并发线程数量即可,回调函数说明如下:

        allow_cb:当有新的连接到达时调用,来判断是否允许该连接的注册。

        init_cb:当把连接对象注册到某一个Poller和Parser后调用,进行初始化处理。

        dispatch_cb:当有消息到达时会调用,进行消息派发。

        close_cb:主动关闭连接对象时调用。

        be_closed_cb:检测到对端关闭连接对象时调用。

        test_client.cpp主要使用Client对象来连接到某一个服务器,同样Client构造时也需要传入回调函数,其作用与Server构造时传入的回调一样。

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

c++多线程编写网络聊天室程序(socket)

[html] view plaincopy 先版本信息调用函数   [html] view plaincopy AfxSocketInit   ...

[C++11 并发编程] 04 - 动态选择并发线程的数量

C++标准模板库提供了一个辅助函数 - std::thread::hardware_concurrency(),通过这个函数,我们可以获取应用程序可以真正并发执行的线程数量。下面这个例子,实现了一个并...

[C++11]新特性试用

Auto 在C++11之前,auto关键字用来指定存储期。在新标准中,它的功能变为类型推断。auto现在成了一个类型的占位符,通知编译器去根据初始化代码推断所声明变量的真实类型。各种作用域内声明变量都...

[C++11 并发编程] 02 - join

1. 等待线程完成 若不等待线程完成,我们就需要确保该线程访问的数据都是有效的,直到该线程完成为止。比如如下代码,线程函数持有局部变量的指针或引用,当函数退出时,线程尚未执行完成。 #include ...

[C++11 并发编程] 03 - 向线程传递参数

我们可以通过std::thread的构造函数向线程传递参数,但是默认情况下,这些参数的拷贝会被传递到线程内部,即使参数申明为引用,也是如此: void f(int i,std::string cons...

C++并发编程

C++11相比之前的版本具有很多优秀的特性,比如lambda表达式,初始化列表,右值引用,自动类型推导。同时,C++11标准库现在也支持正则表达式、智能指针、多线程库。但现代C++在并行和异步计算方面...
  • yockie
  • yockie
  • 2016-11-24 23:27
  • 1718

C++并发实战13:std::future、std::async、std::promise、std::packaged_task

std::condition_variable可以用于异步事件的重复通知,但是有些时候可能只等待事件发生一次,比如:等待特定的航班,用条件变量大杀器有点浪费了。C++11标准库提供了几种异步任务机制。...

linux c++ 高并发tcp服务器架构

本文转载自博客:http://blog.csdn.net/opencpu/article/details/47175813 epoll 接受数据到队列,线程池处理队列里的数据 具体实现方式...

高并发系统设计

高并发系统设计 注:本文大多数观点和代码都是从网上或者开源代码中抄来的,为了疏理和组织这片文章,作者也费了不少心血,为了表示对我劳动的尊重,请转载时注明作者和出处。 一、     引子最近失业在家,闲...
  • Shatty
  • Shatty
  • 2011-07-24 17:38
  • 23173
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)