最近有个项目需要仿照QQ设计一个高性能即时通信应用,其中涉及到传输图片、视频、大块文字的需求。为了实现高性能的同时减少带宽占用,我们参考了QQ通信协议以及Google Protocol Buffers的精简设计理念设计了一套基于UDP的多媒体即时通信机制,达到低带宽、高性能的效果。
QQ通信协议
QQ在即时通信应用中并没有采用XMPP、HTTP等上层的协议进行消息通信,主要是基于效率的考虑:XMPP、HTTP等上层的传输协议为了保证易用性、通用性,包含了太多对应用无用的数据,从带宽、性能方面而言并不是特别优秀。QQ通信的数据结构和Protocol Buffers的机制类型,通过对数据进行序列化反序列化直接进行传输。但是QQ的通信仍然是基于TCP的,而我们项目的场景要求对流量使用有着变态的要求,因此我们尝试基于UDP的方式底层机制来实现。
目标与问题
项目要求传输的数据至少包括如下数据类型:文字、语音、图片、视频、文档、其他等。
由于UDP协议中每个包传输的数据大小有限并且UDP是不可靠的通信传输方式,会导致出现粘包和丢包的情况,设计不当的话其效率将比TCP/HTTP这类传统传输协议低效得多,因此在实现中既要处理好粘包的情况,也要处理好丢包的情况。
数据结构设计
在协议字段上,我们参考了QQ的TCP传输协议,将数据进行分片打包的方式进行流式处理。
序号 | 字段 | 类型 | 描述 |
---|---|---|---|
1 | tag | byte[2] | 传输协议包头固定值0xbebe,用于区分是否有效数据包、过滤部分恶意攻击 |
2 | counter | int | 数据包唯一ID,单调递增以帮助接收端识别丢包 |
3 | cmdType | byte | 消息类型,不同的消息ID对应不同的数据内容(如文字、语音、图片、视频、文档等等) |
4 | sliceID | short int | 分片序号,第一片数据序号要加上0xff用于区别首包数据,分片序号采用降序递减的方式发送(避免接收方区分 |