TSINGSEE青犀视频官方技术博客

EasyRTC视频会议系统支持私有化部署，用户只需打开网页即可使用，彻底打破地域限制，一场会议可支持上千人同时在线。

支持H.264/H.265视频编解码，可实现超清流畅视频画质，还原真实的视频对话场景，并能支持多画质选择，方便用户根据自身的网络情况进行灵活选择。

在EasyRTC中，已实现会议室合流转推到流媒体内核进行转发并生成录像保存到服务器，用户可以根据日期查询该录像并进行播放、下载。

随着WebRTC技术的不断崛起，视频会议系统也迎来了全新的模式，TSINGSEE青犀视频结合WebRTC和RTMP/RTSP技术的优点，开发出EasyRTC平台，支持一对一、一对多等视频会议互动通话等功能，可满足用户的多场景视频通话需求。

EasyRTC适合召开各种现场会议，实现多个会议现场之间的视频多画面轮换，支持即时会议、例会、多组会议等会议形式，并可将视频会议以图文+视频+现场声音实时直播的形式通过互联网对外直播，实现PC、手机、网页全覆盖，扩大直播观看的范围。更多关于EasyRTC的功能与开发，敬请关注我们的更新。

TSINGSEE青犀视频云边端架构体系的产品中，流媒体平台均是使用Go语言开发，因为遗留代码的问题，EasyNVR、EasyDSS等平台需要使用govendor进行代码的项目管理，而EasyRTC 等新项目则是采用gomod进行开发。以下是我们在开发平台过程中，对两者的使用进行的总结，现与大家分享下。GoVendor的基本使用如下：govendorinit初始化项目govendorfetch增加依赖govendorremove删除包依赖govendorupdate更新包依赖...

自从RTMP推流协议诞生以来，依靠RTMP协议做的推流开发就一直都未停歇，在没有找到更加完善的替代品前，市面的主流推流仍将会由RTMP协议来实现。如大众所熟知的一样，PC端web主流的视频直播方案也一直是RTMP，包括我们开发的EasyCVR平台，也在最新的版本中支持RTMP推流了，不过该版本目前正在测试当中，测试完毕将会上线，大家届时可以关注。我们本文的焦点还是放在HTML5视频的推流直播上。随着直播平台爆发式的增长，H5直播的需求也变得异常丰富。通过H5直播的整体流程大致分为三个模块：视频采

近期我们在编译WebRTC时碰到了一些问题，通过C++编译WebRTC项目，获取sdp的数据为空。我们使用window api调用go服务端接口，接收到的数据为空。返回的数据如下：通过数据打印出来，发现bufRev没有数据，也没有出现其他错误信息。通过打断点分析发现，异常情况下，select函数一直始终返回0：再到go服务端发现接口已经调用成功：使用上面简单测试go服务器接口（/stream/test/:channel:）。通过这个接口测试，select函数返回的是1，而且可

大家知道我们的WebRTC开发已经到达一个新的阶段了，目前EasyGBS国标视频云服务内已经支持WebRTC协议视频流的输出了，欢迎大家体验。搭建webrtc不得不提的就是turn服务器了，在webrtc中，每当两个设备之间无法直接连接时，就需要一个turn服务器来进行中转，同时，在点对点的服务中，也需要安装并运行turn服务器。但是如果将设备连接到媒体服务器（无论是用于群呼的SFU还是其他类型的服务器），仍然需要一个turn服务器，这又是为什么？实际上，这主要是因为某些防火墙会阻止某些类型的流

做流媒体视频开发的团队都知道，目前很多开发团队的视频流解决方案都喜欢使用 HTTP Live Streaming (HLS) 来直播视频。 我们经常被问到的另一项技术是 WebRTC。 这两种技术都很棒，但应用却截然不同。 在这篇文章中，我们将研究两者的特性和优势，以及它们适合的主要应用场景。什么是HLS？HTTP Live Streaming (HLS) 由 Apple 开发，目前是当今网络上流式传输视频的主要方式。 HLS 名称中的“直播流媒体”有点用词不当，因为视频不需要直播——油管.

2020年到2021年，可以说是音视频技术迅猛发展的一年。除了慢直播外，还有一种不得不提到的新趋势，就是“云会议”场景。云会议凭借其便捷、高效、低成本的优势，越来越常见于我们的生活当中。从全球来看，视频会议经历了模拟电视会议阶段、数字视频会议阶段、基于IP网络视频会议阶段、多功能统一通信管理平台阶段等阶段，毋庸置疑的是，在未来，视频云会议未来的发展空间也将是巨大的。通信技术的发展也将进一步为视频会议助力，比如视频通话当中流畅度、纯净度、智能度的体验都将得到更深层次的提升。基于音视频的云会议能在短

WebRTC技术是目前使用最广泛的即时通信技术，它是一个开源项目，旨在创建简单、标准化的流程，通过Web提供实时通信（RTC）。EasyRTC视频会议云服务是TSINGSEE青犀视频团队基于WebRTC技术以及多年的行业技术积累经验，研发的一项覆盖全球的实时音频开发平台。今天我们将和大家一起分享一项开发技巧：如何对EasyRTC创建新的空分支。在EasyRTC的Web开发中，因为RTC的特性，信令服务基本为自定义的信令。当用户希望定制时，则需要编写对应的信令进行消息通信。但是此种开发难度较大，因

WebRTC是一项开源技术，它可以通过网页实现语音和视频通信，而无需在浏览器中安装任何插件。 如今，WebRTC技术已经较为成熟，其集成了最佳的音/视频引擎，这项技术已经广泛用于视频通话中。在WebRTC开发过程中，将远端的sdp设置好之后，则可以获取到视频数据流。如果是js端，那么操作其实比较简单。但是C++端稍微比较麻烦。因为WebRTC在顶部带有一个Javascript API层，你可以在浏览器中使用它。这使得在任何地方开发和集成实时通信变得更加容易。在内部，WebRTC仍主要使用C / C ++

最近在项目对接中，我们发现很多用户有即时通讯、实时音视频互动的需求。应用场景如安全帽应用，需要实现安全帽与服务端的实时监管与喊话，作为智慧工地巡检、安全监督使用。具体需求如下：1、视频数据处理与存储：服务器依据配置情况对摄像头视频数据进行存储、回放等操作；2、音视频即时通话功能：支持web端，移动端和自研设备终端间的音视频即时通信；3、私有化部署；4、支持包含web端、移动端和设备终端在内的10路并发；5、提供给设备终端的通信软件接口符合国标GB28181协议；经过项目组的评估，E

webrtc是一个实时通讯技术，很简单的应用在web浏览器中应用实时通讯技术，包括音视频通话。在使用webrtc技术时，浏览器端都已经基本封装好，只要调用相应的api，就可实现简单的通话，其中一个主要对象就是RTCPeerConnection 支持音频和视频媒体数据通信。本文我们就分享一下一套完整的对等通信是如何实现的。浏览器端1、创建webrtc对等连接方法。let pc = new PTCPeerConnection({iceServers: [{ urls: ’stun:stun.

也许大家经常被问到" WebRTC安全吗？"一句话...是的。 WebRTC是安全的，并采取了许多安全措施以确保数据保持安全。这些包括：1.浏览器保护众所周知，WebRTC是在浏览器之间直接制定的，无需插件。这使WebRTC本质上更安全，因为它提供了额外的保护级别，可抵御可能伪装成插件的恶意软件或其他不良软件安装。此外，由于WebRTC是作为浏览器的一部分提供的，因此倾向于通过浏览器供应商的自动更新来快速解决任何潜在的安全威胁或漏洞。2.媒体访问WebRTC规范通过要求使用摄像机或麦克风的明

在开发webrtc时，由于是新技术，我们在编译或者调用过程中会出现平常不太常见的问题，比如使用js语言调用go接口发送base64，Go程序出现设置webrtc远端会话描述提示，但是控制台会出现报错。Js端出现接口500（Internal Sever Error）错误：js端代码是通过RTCPeerConnection方法来监听onicecandidate里的函数回调的值，如果回调的值未null的话，说明就是监听完成，这里要判断是否为null，再获取本地的会话描述转换base64传给服务端。

在编译WebRTC过程中，我们上一篇解决了c++编译WEBRTC视频播放项目获取sdp会话描述失败的问题，在解决这个问题之后，重新建立SDP会话描述之后，视频添加成功，但是实际播放的时候画面会卡住。测试C++ WebRTC播放时，在播放大约4~6s后，画面会停止播放，一直卡在最后一帧画面。报错如下：(video_receive_stream.cc:659): No decodable frame in 3000 ms, requesting keyframe.该报错的意思是播放画面一段时间，3

近几年随着人们对网页视频要求的提高，WebRTC被越来越多的人熟知，运行WebRTC需要搭建一个用户界面，并且需要一台服务器来发送信令，WebRTC处理SDP信息的创建和处理，通过拉流库进行拉流，实现WebRTC的网页播放功能。我们在通过C编译WebRTC时，出现添加视频未成功的现象。CWebRTC实现与go pion库进行拉流，添加视频和音频源，导致C++中WebRTC为进入自定义的重写的虚函数里，无法进行下一步操作。例如获取SDP会话描述：按照正常的流程建立会话描述，以C++中We.

随着科技的进步和大众对教育的重视，越来越多的创新授课方式被搬进了课堂。除去传统的讲课方式之外，与信息技术结合的授课为改变传统的教学模式提供了有效途径，这其中就包括课堂桌面同屏授课的方式。此前我们开发的一款桌面同屏的软件EasyScreenLive，可以直接运用在课堂同屏当中：简单、高效、稳定的集采集、编码、组播、推流和流媒体RTSP服务于一身的同屏功能组件，具有低延时、高效能、低丢包等特点。目前支持Windows，Android平台。通过EasyScreenLive我们就可以避免接触到稍显复杂

随着移动互联科技的迅猛发展，5G网络的兴起，手机等硬件配置越来越高，低延时网络音视频也越来越走近人们的生活，在教学、会议、在线医疗、招聘、交友等视频直播的需求日益扩大。目前市场上基于WebRTC架构搭建的音视频直播还不够完善，如：1）直播技术延迟非常大，从观众评论到看到主播给出反馈一般要在十秒以上； 2）各种视频的APP多种多样，接口复杂，不适合接入； 3）针对各行各业视频直播的互通性差，各种协议的兼容性不够； 4）扩展性差，集成的直播系统二次开发难，不能灵活拓展延伸功能。而且视频直播.

EasyRTC则不同于TSINGSEE青犀视频其他的平台，EasyRTC企业视频通话会议系统是基于WebRTC编译的网页通话平台，具备更低的延时和更高的传输效率。某个客户项目在测试EasyRTC时，出现无法进入会议室的情况，打开前端浏览器控制台，显示如下：出现此种错误大概率是因为证书问题导致的，因此首先确认客户是否更换了域名证书。EasyRTC 后台中 websocket 模块使用的证书为 wss.pem，该证书在更新域名证书后，需要根据域名证书再次制作，因此制作新的wss.pem证书即可。

在兼顾多平台的开发时，我们对EasyRTC的测试仍然没有停止。在测试EasyRTC-MCU版本期间，用户进入会议室偶尔会出现黑屏现象，但屏幕仍会间接性出画面，同时伴随闪烁问题。针对该问题TSINGSEE青犀视频开发人员检查了后台页面，未出现报错问题，因此可以排除代码问题。随后检查后端打印日志，也并未发现异常，最后对比FreeSwitch demo的websocket通讯数据，发现是新增了一个Authentication Required的尝试认证请求，但是我们并没有及时添加该请求。在加上这个

webrtc的存在给在线视频会议系统带来了新的模式，TSINGSEE青犀视频开发的网页视频会议系统EasyRTC综合了webrtc和rtmp/rtsp方案的优点，支持一对一、一对多等视频会议互动通话，满足语音社交、在线教育和培训、视频会议和远程医疗等场景。EasyRTC分为MCU版本和SFU版本，EasyRTC-MCU版本在进入会议室的时候，如果是第一次进入，会先获取本页面对摄像头和麦克风，此时若用户不进行操作，或是等待5秒以上，则会进入会议室失败，且在此进入时会直接报权限获取失败。因为等待时间而造

十年前，谷歌为两种基础的网络媒体技术埋下了种子，希望它们可以为更加活跃的互联网提供根源。两次收购On2 Technologies和Global IP Solutions导致了两个开源项目：WebM项目（由Google免收专利费的一系列最先进的视频压缩技术（编解码器），以及WebRTC项目构建用于实际的API）网络上的时间语音和视频通信。这些举措是主要的技术努力，是实现HTML5承诺并支持视频会议和流传输的必要基础结构。但这也是媒体的哲学发展，正如产品经理Mike Jazayeri在他的博客文章中称赞

随着2021年的到来，从业者对安防行业的最新技术趋势充满了期待。最近的行业预测表明，2021年的技术趋势将在很大程度上取决于智能视频监控，AI智能分析和云存储的进步。某些制造商的趋势预测也表明了这一点。人们对视频监控系统的需求也越来越高，本文列出了021年视频监视技术的主要趋势。趋势1：利用深度学习实现商业智能的AI视频分析人工智能具有机器学习和深度学习两个受欢迎的组件，已经通过提供改进的数据和商业智能来推动创新。 我们已经在数据多样化，提高准确性等方面取得了显著成就，这将使监视系统能够确保

什么是WebRTC？什么是WebRTC，它的优点是什么？ WebRTC是HTML5规范，可用于直接在浏览器和设备之间添加实时媒体通信。简单地说：WebRTC可以通过网页实现语音和视频通信。而且你可以做到这一点，而无需在浏览器中安装任何插件。WebRTC于2011年发布，自那时以来，它的受欢迎程度和采用率一直在稳步增长。2016年，已经有安装20亿个能够与WebRTC一起使用的浏览器。从流量的角度来看，WebRTC估计每周仅通过浏览器通信便会传输超过10亿分钟的时间和500 TB的数据。

去年年初，TSINGSEE青犀视频平台对基于webrtc开发的网页视频会议系统EasyRTC做了版本上的区分，分别是MCU版本和SFU版本，但在今年，随着谷歌浏览器的升级，EasyRTC 的 MCU 版本出现在部分谷歌浏览器，以及最新版的谷歌浏览器进入会议室黑屏无法使用的问题。侧边栏显示普通用户退出了会议室。查看后台 log 发现不是前端的问题，后台日志中提示tls协议握手失败。因此使用 WireShark 抓包，查看失败的包，如下：Client Hello 后，服务端直接返回 Aler

EasyRTC系统作为TSINGSEE青犀视频开发的网页视频语音会议系统，其语音电话在网页上的实现是不可少的，在EasyRTC的MCU版本中，采用了freeswitch作为后台的RTC服务器。FreeSWITCH支持多种通讯技术标准，包括SIP, H.323, IAX2以及GoogleTalk ，可以方便的与其他开源的PBX系统进行对接，同时具有很强的伸缩性。最新版本的 freeswitch1.10通过源代码的编译方式同以前的编译方式不同，依赖库也不再相同，因此编写该教程记录如何编译freeswit

大家都知道每个网站的安全校验机制都是网站安全的重要组成部分，包括密码、短信验证码、二维码验证等验证方式，除此之外，我们登陆很多网站都能了解到用户登录是会有验证码校验功能的。在此之前，TSINGSEE青犀视频开发的EasyNVR、EasyGBS等平台已经实现了验证码的校验功能，为了让TSINGSEE青犀视频平台实现全面安全登陆验证，我们在EasyRTC里也添加了该功能。本文和大家分享下我们的实现过程。我们使用的方式是首先通过接口获取到captchaId，拿到ID后通过拼接location.orig

去年和今年的疫情让大家都居家隔离，线上办公在去年开始逐渐成为了一种新型办公方式，通过使用实时音视频产品，便于企业员工的异地互动与工作沟通，减少不必要的商务差旅，有效节省企业运营成本。在这样的环境促使下，TSINGSEE青犀视频开发了EasyRTC线上视频会议系统。实际上，EasyRTC视频会议系统作为一套新型线上视频会议软件，虽然大部分已经完善，但我们仍在对一些细节进行优化，同时也在对一些问题进行处理。比如在EasyRTC-SFU的会议室列表页测试分页功能时，发现改变当前页服务会更改页面数据。

在5G带来的全球化系统下，全球网络覆盖已经成为必然的趋势，TSINGSEE青犀视频开发的EasyRTC网页远程通话会议系统全球覆盖的特性保证了实时视频跨网、跨地域也能稳定传输，在弱网环境下仍能保证高质量通信，开放数据交互，通过HTTP传输，实现跟现有平台的无缝结合。在EasyRTC的部署过程中，经常出现软件部署完毕后，客户点击摄像头却无法进入房间，并弹出“获取摄像头失败，请检查设备”的情况。有的客户会认为是我们的代码有错，导致这种问题的出现。但实际此部分代码是前端直接调用 WebRTC 的接

最近我们的各个产品都在整合国标GB28181的功能扩展，有EasyNVR的国标GB28181向上级联、有EasyGBS的下级接入与对上级联、有EasyCVR的多协议接入与GB28181输出，大家都在做GB28181，国标的成熟与兴起是政策与执行相互促进推动的结果，以前没有一个这么完善的协议能统一平台相互级联的思路，如今有了，那么各种类型的系统支持GB28181就是必然的；EasyNVR将RTSP/Onvif设备汇聚并向上级平台级联： EasyGBS国标接入与向上级联： EasyCVR能将各种协议汇聚

TSINGSEE青犀视频研发的视频平台都支持分屏播放，当我们需要通过新的框架来搭建一套新的产品的时候，就要考虑到如何通过新的方式来构建这样一套多屏分割的界面。我们上次在《我之前做过的所有产品都值得用RTC重做一次》曾经讲过，我们对于RTC的研发正在紧密的进行当中，将会在未来推出RTC类的技术产品。在开发WebRTC实现多屏分割过程中，会遇到用到数组格式使用循环来处理，但是该方法会需要很多的代码量，代码繁杂冗长，不易于编译和检查，怎么才能用少的代码量实现上图功能是我们目前要考虑的问题。我们

这半年什么最火，不少人会说直播。人们用直播上课、开会、逛展、剁手、蹦迪…大家上半年都“宅”得不亦乐乎，企业却在努力研究更便利的网上直播、时事课堂等产品，以满足广大用户的需求。有一项数据值得大家关注，中国的市场调查顾问公司比较了企业端不同内容渠道的观看活跃度，其中直播占比52.8%，拔得头筹。疫情之后，消费者已经养成了看直播的习惯，企业也通过直播实现各种业务的增长。企业直播大火背后，企业直播有什么样的应用场景？整个企业直播市场的趋势将如何发展？目前企业直播已经参与到生产经营等高价值环节中，衍生出的

视频会议虽已发展多年，但市场仍然存在巨大需求，只是用户兴趣逐步从传统硬件视频会议开始转移到了基于软件和云服务的解决方案。因此视频会议再也不是传统意义上只看重硬件的沟通工具。一、方案需求企业新建视频会议系统，包括行政办公楼、科研办公楼、综合办公楼等，实现以下需求：1、远程行政会议及办公远程行政办公处于视频会议最基本的业务需求，通过异地部署视频会议室环境，轻松的实现远程行政会议沟通、跨区域团队例会和日常会议、业务沟通等场景需求。2、远程培训通过完善的会议系统实现1对1、1对多的培训模

由于webrtc技术相对其他协议的视频直播来说，具备更低的延迟，因此对webrtc的开发和编译成了TSINGSEE青犀视频研发人员的一个重要任务。关于webrtc的开发需求，大家可以看《TSINGSEE青犀视频云边端架构视频智能分析平台低延迟直播可以用webrtc实现吗》一文了解一下。对于webrtc的编译以及开发，TSINGSEE青犀视频研发人员在之前解决了Visual Studio 2017自建WebRTC中peerconnection_client程序编译报错不匹配问题，以及其他不同的问题，但

目前TSINGSEE青犀视频云边端架构视频智能分析平台都实现了低延迟的视频直播，在我们测试期间最低的直播延迟协议应该属于ws-FLV、RTMP协议了，测试最优延迟可达1s左右。目前国内大部分厂家在用的 RTMP，它相对于 HLS 在服务端做了优化。RTMP 服务端不再进行切片，而是分别转发每一帧，CDN 分发延迟非常小。上图是国标视频平台EasyGBS输出的视频流播放界面，可输出三种不同协议的视频流，其中FLV在低延迟直播当中的运用比较常见，同时RTMP也可达到低延迟，大家有兴趣可以研究一下。而

在Visual Studio 2017自建WebRTC中peerconnection_client程序完成之后，TSINGSEE青犀视频研发团队又开始了一个新的项目，就是使用WebRTC编译mediasoupclient库，该编译同样是为了在TSINGSEE青犀视频未来的研发当中获取更多的功能或者实现方式。如果是用于多方会议，那WebRTC的服务器模型有两种，分别是SFU和MCU,这两类均为接入mediaserver的模式，所以实质上均为转发，不支持P2P。TSINGSEE青犀视频平台视频会议通话系统E

国家发展的风口浪尖是互联网，互联网发展的风口浪尖是5G。中国工程院院士、中国互联网协会理事长邬贺铨说：未来5G会进一步使宽带化的移动互联网应用变得无处不在，支撑起一个万物互联的时代。5G以其超大宽带、超低时延和超大连接等特点，完全支持以用户为中心的定制化服务，未来“人在哪里，直播就在哪里”。毋庸置疑，5G时代将会让直播行业上升到一个全新的高度。与此同时，实时音视频互动技术也将展现全新的面貌，无论是娱乐直播还是视频通话，本质上都相当于一个多人实时互动的直播间。企业在实时音视频技术实现上通常会遇到卡顿、