流媒体音视频开发和架构等

 

国内哪些互联网公司音视频处理技术比较好？

https://www.zhihu.com/question/41738544

网易云信流媒体服务端架构设计与实现

https://www.livevideostack.cn/news/design-and-implementation-of-streaming-media-server-architecture/

音视频直播--技术架构

https://www.jianshu.com/p/db3482971758

这些优秀的音视频开源框架你值得收藏

https://www.jianshu.com/p/cc35663bcd83

音视频架构简述

https://zhuanlan.zhihu.com/p/25315651

音视频开发基础知识整理

https://blog.csdn.net/liuqiyao_01/article/details/102971563

18个实时音视频开发中会用到开源项目

https://blog.csdn.net/tanningzhong/article/details/93883243

 

音频编解码器 - Opus

https://www.jianshu.com/p/be8d40b61171

开源流媒体代码

十大流媒体开源项目

https://blog.csdn.net/u014162133/article/details/81908366

1 FFmpeg：全球领先的多媒体框架 http://ffmpeg.org/ 
2 VLC：开源的跨平台多媒体播放器及框架 http://www.videolan.org/ 
3 live555：开源流媒体服务项目 http://www.live555.com/ 
4 EasyDarwin： 企业级的流媒体平台框架 https://github.com/EasyDarwin 
5 ijkplayer：B站基于ffplay 的跨平台播放器 https://github.com/Bilibili/ijkplayer 
6 red5：Flash流媒体服务器 https://github.com/Red5/red5-server/releases 
7 NGINX-RTMP： nginx模块 支持rtmp和HLS https://github.com/arut/nginx-rtmp-module 
8 SRS：开源流媒体服务器系统 https://github.com/winlinvip/srs 
9 OBS：开源流媒体系统 https://sourceforge.net/projects/obsproject/ 
10 绝影：移动端深度学习框架 https://github.com/in66-dev/In-Prestissimo

视频会议及流媒体十大开源项目

https://blog.csdn.net/weixin_33686714/article/details/90309724

1、 OpenH323项目        （）

上榜理由：最著名的H.323开源协议栈，视频会议开发必备协议栈，强烈推荐

最著名的H.323开源协议栈，包含了全部的H.323协议功能，并有大量视频会议实现的参考例子，如终端、MCU服务器、gk等H.323协议的核心组成部件，Openh323是H.323协议首选协议栈，同时也是我们视频会议开发最值得作为参考的开源项目之一。

下载地址：http://www.h323plus.org/source/
 

2、 ffmpeg项目               （）

上榜理由：最全面的开源编码器，包括了H.264、MPEG4、G.72x等音视频编码，效率也非常高，强烈推荐

   目前最全面的开源编码器，其中包括常用的音视频编码协议 h.264、MPEG4、H.263、G.721、G.726、G.729等，ffmpeg虽然是基于linux的开源项目，但可以通过交叉编译的方式在windows下运行，其项目加入了很多优化效率的代码，如采用汇编替代C，大大提高了编码的效率，推荐ffmpeg用于视频会议的实时编码。

 下载地址：http://ffmpeg.org/download.html
 

3、webrtc项目                   ()  

上榜理由：Google收购GIPS后开源的基于浏览器的实时通信开源项目，强烈推荐

Google收购GIPS后开源的基于浏览器的实时通信开源项目，GIPS是目前世界上最好的音频传输库，但其授权费非常高，webrtc是Google收购GIPS后，公开的一个通信项目，其核心voiceEngine就是由GIPS建立的，因此视频会议的音频部分可以参考webrtc来实现。

 下载地址：http://www.webrtc.org
 

4、OpenMeetings项目        ()

上榜理由：基于java的浏览器的视频会议开源项目，java开发视频会议的首选

OpenMeetings主要是基于OpenLaszlo的流媒体格式和Red5服务器的开源视频会议项目，其包含的功能包括音视频、电子白板等，其项目是用java进行开发。项目的缺点是bug较多，效率不高，但可以作为flash视频会议的一个参考。

下载地址：http://code.google.com/p/openmeetings/downloads/list
 

5、live555项目                    ()

上榜理由：重量级的C++流媒体开源项目，里面一些模块可以作为视频会议开发参考

      live555是最重量级的一个C++流媒体开源项目，其中不仅包括了传输协议（SIP、RTP）、音视频编码器（H.264、MPEG4）等，还包括流媒体服务器的例子，是流媒体项目的首选，里面的传输模块是非常值得视频会议开发作为参考的。

下载地址：http://www.live555.com/
 

6、OPAL项目                      ()

上榜理由：OpenH323的下一个版本，新包含了SIP协议栈，是实现SIP协议的首选

OPAL是OpenH323的下一个版本，继承了Openh323协议，其新包含了SIP协议栈，是实现SIP协议的首选，缺点是参考例子较少。

下载地址：http://sourceforge.net/projects/opalvoip/files/
 

7、x264项目                        ()

上榜理由：应用最广的H.264编码器，适合于实时视频的传输

X264是目前应用最广的H.264编码器，其省去了H.264效率较低的部分，并对其进行了优化，效率明显比其他的H.264开源项目高很多，是最适合于实时视频会议传输的H.264编解码库。

下载地址：http://www.x264.nl/
 

8、Speex项目                      ()

上榜理由： 音频领域最著名的开源项目，窄带和宽带都有很好的语音质量

      Speex是音频领域最著名的开源项目，窄带和宽带都有很好的语音质量，只需8kb就可以传输令人满意的语言，缺点是传输音乐的时候质量会下降。

下载地址：http://www.speex.org/downloads/
 

9、JRTPLIB项目                     ()

上榜理由：C++跨平台的 RTP传输开源项目，RTP传输必备库

      JRTPLIB是C++跨平台的 RTP传输开源项目，实现RTP协议可以利用这个库，JRTPLIB是RTP传输必备库

下载地址：http://research.edm.uhasselt.be/~jori/page/index.php?n=CS.Jrtplib
 

10、XVid 项目                        ()

上榜理由：最著名的MPEG4编码器开源项目，但效率不及x264

     在没有H.264编码协议之前，XVid的MPEG4编码一直是视频会议的首选视频编码器，但随着x264、CoreAVC等效率更高的H.264编码器的出现，其应用效果受到较大的冲击，但其结合directshow的视频采集模块还是值得视频会议开发人员参考的。

下载地址：http://www.xvid.org

视频会议传输模块的开发选择

视频会议主要是开发音视频、数据的传输的软件，在这些开发过程中，最核心的模块是传输模块，传输模块的性能直接影响到视频会议的最终质量，因此传输模块的选择在视频会议开发当中尤其重要。传输模块在开发过程中，由于考虑到QOS的影响，一般都会使用数据重发的技术，因此传输模块以及成为视频会议底层开发的一个重点，我们开发的传输模块，可以选择用TCP、UDP直接进行开发或者利用开源的传输库，因为一些开源传输库以及比较成熟，直接拿来用就可以，如果自己开发传输模块，估计也是一个巨大工程。现在我们介绍一下传输模块的开发选择。

1.      利用TCP进行开发

使用TCP直接进行传输模块的开发，在传输过程中数据不会丢包，我们可以采用OICP的完成端口来进行通讯，其优点是QOS有保证、支持大容量的数据并非，缺点是开发周期长，数据建立连接比一般UDP要长很多，而且资源占用也比一般UDP传输的要大。

2.      利用UDP进行开发

UPD是一种数据报传输方式，其数据在传输过程中不能保证数据的可靠性，因此用UPD进行传输模块的开发还要加入自己的QOS的丢包处理和自动重发的功能。其优点是数据传输较TCP快，缺点是开发周期长。

3.      利用UDT库进行开发

UDT建于UDP之上，并引入新的拥塞控制和数据可靠性控制机制。UDT是面向连接的双向的应用层协议。它同时支持可靠的数据流传输和部分可靠的数据报传输。UDT的特点是不用进行开发，直接利用库的发送函数就可以实现可靠的数据传输，缺点是模型较简单，没有OICP完成端口支持大容量的数据。

4.      利用Ranknet库进行开发

Raknet也是一个基于UDP网络传输协议的C++网络库，通过库的函数实现高效的网络传输服务。其具体应用在一些游戏领域，Radnet可以实现在两个程序之间每秒传输25，000条信息；其优点是不用进行开发，直接调用函数即可，缺点是大数据量在公网传输会由于网络堵塞而造成的流量控制失败的情况。

综上所述，视频会议的传输模块开发，传输效率最高是用UDP开发，但开发周期较长。用Raknet开发的传输模块不能适应大数据的传输，UDT在大数据量的传输有较好的优势，缺点是支持的并发不是很多。但如果经过修改后，UDT也能进行大容量的并发，因此综合考虑用UDT是视频会议传输模块的最佳选择。

视频会议的图像清晰度由什么决定

 

 我们选购视频会议的时候，最重要是考察系统的稳定性与音、视频质量等因素，而视频质量与视频会议的什么参数有关呢？首先我们说的视频质量，是我们平时的主观对视频图像的一个看法，不能通过一个具体的数字来体系，因此我们考察视频会议的质量只能通过主观对视频会议的图像的清晰度进行判断，而决定视频会议的清晰度由多种因素来决定，首先最重要的是视频会议的视频分辨率，另外一个是视频会议编码器的视频还原质量，最后一个视频会议的图像后处理技术。
 1、视频分辨率

      视频会议分辨率就是视频会议的视频采集的图像的分辨率，这个参数在视频会议的清晰度衡量中占用非常重要的作用，视频会议的分辨率可以分QCIF(160*120)、CIF(320*240)、720P(1280*720)、1280P(1920*1280)等分辨率，其分辨率越高，图像显示就越清楚，市场上所说的高清视频会议系统，也就是图像采集分辨率达到720P以上的高清分辨率。但是不是分辨率越高，视频会议的视频质量就越高呢？这个答案是否定。视频会议的分辨率只是图像的采集分辨率，而视频会议系统还需要经过视频的编码、解码、后期视频处理三个环节，因此视频会议分辨率越高不等同于视频会议的视频质量越高，只能说是本地的视频质量随图像采集分辨率的增加而增加。图一是各种分辨率下面的图像。而对于高清摄像头我们也有很大的误区，有的厂商把自己的摄像头标出非常高的像素，大家都认为这款肯定是高清分辨率，但测试的时候发现其分辨率只有640*480，这种摄像头其实并不是高清摄像头，高清摄像头的最基本指标是在720P的分辨率之上。因此高清摄像头决定因素是图像的采集分辨率。

 
图一

2、视频编码的还原质量

        视频编码质量也是决定视频会议清晰度的一个重要指标，如现在最流行的H.264编码，其编码质量较高，图像的还原能力比之前的MPEG4还原能力更强，那一副图像通过不同的视频编码还原后，图像的还原度是不一样的。我们首先要讲一下视频编码的过程，视频编码首先获得视频采集设备的图像，然后把图像分成若干个块，然后对块进行数字转换，通过把块的帧内预测、帧外预测达到还原的图像的目的，因此图像的分块越小，图像的还原度会越高，如H.264采用最少4*4的块进行块的预测，而MPEG4、H.263采用最小8*8和16*16的块进行预测还原，因此H.264编码的图像在同等数据传输率下，比MPEG4、H.263更清楚。因此视频会议的清晰度还和视频编码的还原质量有关。

3、视频会议图像后处理技术

       视频会议的图像清晰度最后也与图像的后处理技术相关，不同的视频会议系统对图像的后处理技术都不尽相同，有的 视频会议 为图像增加图像滤波处理，使图像还原去除方格效应等。有的视频会议软件为图像采用图像增强技术，使图像看起来，更清晰。

       以上就是决定视频会议清晰度的最主要的三个方面，视频会议分辨率是决定本地的视频质量的最关键因素。而视频编码是决定视频在编解码过程中的还原能的最主要因素，而图像后处理技术是图像还原的后期处理，在视频会议中也占有很重要的作用。

Libav、FFmpeg、mplayer、VLC开源项目、FFDshow

ffmpeg

  

FFmpeg（现改名为Libav）

FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视 频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec 都是从头开发的。

目录