关闭

一种基于Qt的可伸缩的全异步C/S架构服务器实现(一) 综述

标签: QTC++数据库服务器架构
12432人阅读 评论(20) 收藏 举报
分类:

       本文向大家介绍一种基于Qt的伸缩TCP服务实现。该实现针对C/S客户端-服务集群应用需求而搭建。连接监听、数据传输、数据处理均在独立的线程池中进行,根据特定任务不同,可安排负责监听、传输、处理的线程数目,从而在高传输负荷、高计算符合上达成取舍。数据处理采用流水线结构,以避免少量客户的密集计算请求影响其他客户端的处理。本文对应的代码符合LGPL协议,可直接从https://github.com/goldenhawking/zpserver下载. 也可从http://download.csdn.net/detail/goldenhawking/7461157 下载

     一、综述

       在许多行业应用中,客户端-服务架构不可替代。在客户端-服务架构下,服务扮演着重要的角色。本文旨在介绍一种较为通用的服务实现形式,这个形式可以根据具体应用需求灵活配置,从而减少重复开发的时间。该服务实现至少支持下列两种需求。

       第一类是转发型服务,主要负责沟通两个客户端之间的通信,本身不做复杂的处理。这种服务一般要承受密集的连接,在某些应用中,还要承受沉重的传输负荷。典型的包括即时通信、两个内网之间的视频通信等。

        第二类是计算型服务,主要负责接收客户端的原始数据,处理后把结果返回。这种服务一般运行在高性能服务器上,调用后台的并行计算、异构计算资源,处理后把结果返回给客户端。这些服务的客户端数量一般不多,但在某些应用中,当输入输出数据量大时,传输负荷也很重。

为了满足上述两类需求,服务设计具备如下特点。

        1、  可灵活设置监听端口

        2、  监听、传输、处理均在独立的线程池中运行。

        3、  可根据需要,灵活设置传输、处理线程的数目。

        4、  对某个单一客户端的处理,不会显著拖慢所有客户端的响应。

        5、  需要支持分布式的集群服务,典型的情况是基于若干物理计算机构成的高速局域网实现进程集群。

        6、  可同时支持SSL与普通TCP连接。

这些特点决定了本系统的架构设计。

(一)系统结构

服务由以下几个模块组成.


1、  网络传输模块。负责管理用于监听、传输的套接字,并控制数据流在不同线程中流动。数据收发由一定规模的线程池负责,实现方法完全得益于Qt的线程事件循环。被绑定到某个Qthread上的Qobject对象,其信号-槽事件循环由该线程负责。这样,便可方便的指定某个套接字对象使用的线程。同样,受惠于Qt的良好封装,直接支持Tcp套接字及SSL套接字,且在运行时可动态调整。(注:编译这个模块需要Qt的SSL支持,即在 configure 时加入  -openssl 选项

2、  任务流水线模块。负责数据的处理。在计算密集型的应用中,数据处理负荷较重,需要和网络传输划分开。基于普通线程池的处理模式,也存在队列阻塞的问题——若干个客户端请求的耗时操作,阻塞了其他客户端的响应,哪怕其他客户端的请求很短时间就能处理完毕,也必须排队等待。采用流水线线程池避免了这个问题。每个客户端把需要做的操作进行粒度化,在一个环形的队列中,线程池对单个客户端,每次仅处理一个粒度单位的任务。单个粒度单位完成后,该客户端的剩余任务便被重新插入到队列尾部。这个机制保证了客户端的整体延迟较小。

3、  服务集群管理模块。该模块使用了网络传输模块、任务流水线模块的功能,实现了跨进程的服务器ßà服务器链路。在高速局域网中,连接是快速、稳定的。因此,该模块被设计成一种星型无中心网络。任意新增服务器节点选择现有服务器集群中的任意一个节点,接入后,通过广播自动与其他服务器节点建立点对点连接。本模块只是提供一个服务器到服务器的通信隧道,不负责具体通信内容的解译。对传输内容的控制,由具体应用决定。

4、  数据库管理模块。该模块基于Qt的插件式数据库封装QtSql。数据库被作为资源管理,支持在多线程的条件下,使用数据库资源。

5、  框架界面。尽管常见的服务运行时表现为一个后台进程,但为了更好的演示服务器的功能,避免繁琐的配置,还是需要一个图形界面来显示状态、设置参数。本范例中,界面负责轮训服务器的各个状态,并设置参数。设置好的参数被存储在一个ini文件中,并在服务开启时加载。

6、应用专有部分模块。上述1-4共四个主要模块均是通用的。他们互相之间没有形成联系,仅仅是作为一种资源存在于程序的运行时(Runtime)之中。应用专有部分模块根据具体任务需求,灵活的使用上述资源,以实现功能。在范例代码中,实现了一种点对点的转发机制。演示者虚拟出一些工业设备,以及一些操作员使用的客户端软件。设备与客户端软件在成功认证并登录后,需要交换数据。改变这个模块的代码,即可实现自己的功能。

(二) 设计性能

项目

指标说明

指标值

备注

支持的连接类型

取决于Qt的支持类型

SSL和Plain

运行时同时支持两类.

协议

Ipv4 TCP , IPV6 Tcp

 

设计单进程连接数

在4\8传输线程配置下计算

1024\2048

取决于实际机器的性能和任务形式.

设计集群规模

星型集群的规模受到节点数影响。

100节点,9900个跨服务器连接。

局域网中的连接数为节点数*(节点数-1)。

设计总用户规模

100节点、每节点2048个用户

20万

 

下一篇文章,将开始介绍各个模块的设计思路。先给出范例代码的测试编译环境:

1、Ubuntu 14.04 + Qt5.2.1 openSSL 自编译版

2、Win 7 x64 + VCExpress 2013 x64, x86 + Qt 5.2.1 openSSL自编译版

3、Win XP x86 + VC2010Express x86 + Qt5.2.1openSSL自编译版

主要界面:



23
0
查看评论

使用Qt编写服务器端程序(包括Http传输服务器端)的方法

使用Qt编写客户端的程序的示例或demo较多,但是编写服务器端程序的demo很少。当然,服务器端的程序一般不需要带界面,这点我们可以理解。不过有些时候我们还是需要使用Qt编写一个简单的测试用的服务器代码,这时候该怎么处理呢?首先,头文件中需要做这两个对象:QTcpServer * serverLis...
  • freezgw1985
  • freezgw1985
  • 2010-04-23 10:12
  • 13561

一种基于Qt的可伸缩的全异步C/S架构服务器实现(二) 网络传输

二、网络传输模块 模块对应代码命名空间    (namespace ZPNetwork) 模块对应代码存储文件夹    (\ZoomPipeline_FuncSvr\network) 2.1 模块结构 网络传输模块负责管理监听器,并根据...
  • goldenhawking
  • goldenhawking
  • 2014-05-17 21:43
  • 9713

【Qt】窗体间传递数据(跨控件跨类),三种情况与处理方法

C++ Qt
  • shihoongbo
  • shihoongbo
  • 2015-09-23 16:28
  • 3729

Qt客户服务端传输数据总结

第一个小项目是关于Qt多线程与网络传输的。 环境:VS2015+QT5.3(或者任意的其他版本的VS+QT组合) 要求:分别编写一个客户端和服务器端的程序,程序A作为客户端,程序B作为服务器端。
  • naughfy
  • naughfy
  • 2017-06-12 22:07
  • 429

QT 操作excel 类封装(转载)

QT 操作excel 类封装(转载) 原链接:http://blog.csdn.net/liliming1234/article/details/7054941 pro file [plain] view plaincopy ...
  • jdh99
  • jdh99
  • 2013-10-29 15:19
  • 2652

QT QTreeWidgetItem 有人总结的挺好,转载存储

QTreeWidgetItem有九个重载的函数,如果在构造的时候指定了parent,就不需要在后面用insertTopLevelItems来插入到里面,如果没有指定parent,就把所有的根节点放到QList中,然后使 用insertTopLevelItems(int,QList)插入到QTree...
  • zhoxier
  • zhoxier
  • 2012-06-13 08:35
  • 7210

Qt 转发两串口数据(一、命令行版)

需求两串口设置统一,均如下图:项目实战forwordobj.h#ifndef FORWORDOBJ_H #define FORWORDOBJ_H#include <QObject> #include <QtSerialPort/QSerialPort> #include &l...
  • chy555chy
  • chy555chy
  • 2016-12-12 19:52
  • 422

Qt实现的TCP端口转发工具

  • 2016-07-05 17:59
  • 5.77MB
  • 下载

用Qt实现一个桌面弹幕程序(九)-- -- 服务端的实现

又跳票了一段时间,终于有空回归到整题了。。。最近都在学习Ogre所以好久没有更文章了,哈哈。不过杰洛君回来了~今天要讲的是一个服务端的实现方法~实现一个带界面的服务端我们先做一个有界面的服务端版本,然后再讲根据服务器具体的环境制作没有界面的版本~新建一个项目为TestSrv的项目吧~注意这里和弹幕程...
  • u013241666
  • u013241666
  • 2016-03-23 20:12
  • 1420

qt写的一个简单的tcp服务器程序,可以接受消息发送数据

源码连接http://download.csdn.net/detail/qq_28637193/9615451 pro中需要加入 QT += network 头文件 #ifndef MAINWINDOW_H #define MAINWINDOW_H #include #inclu...
  • qq_28637193
  • qq_28637193
  • 2016-08-29 09:06
  • 3723
    个人资料
    • 访问:352572次
    • 积分:4838
    • 等级:
    • 排名:第7056名
    • 原创:99篇
    • 转载:3篇
    • 译文:0篇
    • 评论:338条
    最新评论