TSINGSEE青犀视频官方技术博客

WebRTC是一种开源技术，支持浏览器和移动应用实现点对点的音视频通信。

近年来，AI大模型在自然语言处理（NLP）和计算机视觉（CV）等领域取得了重大突破，为嵌入式WebRTC的发展带来了全新的机遇。

通过硬件编码可将720p视频流的CPU占用率从60%降至20%，同时维持低延迟传输。

手机端对智能门锁、摄像头下达指令，设备也能及时响应，操控简单顺畅。

通过嵌入式WebRTC SDK实现跨平台兼容，支持Linux、ARM、RTOS、Android、iOS等操作系统，覆盖智能硬件、工控设备、移动终端等场景。

EasyRTC有望与AI技术深度融合，实现更加智能化的音视频通信功能。

EasyRTC的SDK体积小（500K-800K），在微信小程序中可压缩至300KB以内，适合资源受限的嵌入式设备，如智能摄像头、智能音箱等。

信令协议：支持WebSocket、HTTP等协议，用于交换SDP（会话描述协议）和ICE（交互式连接建立）候选者。

在嵌入式Linux上，通过使用jemalloc替代glibc内存分配器，碎片率降低40%，并采用关键数据结构的SLAB预分配机制。

EasyRTC的SDK体积被压缩至500K-800K，甚至在微信小程序环境中可进一步压缩至300KB以内。

SFU模式适合大规模会议场景，能够减少终端编码运算和上行带宽消耗。

当通信结束时，设备需要及时释放占用的资源，避免资源浪费和潜在的系统问题。这包括关闭RTCPeerConnection、停止信令客户端、释放音视频设备资源、销毁证书等操作。

EasyRTC客户端SDK通过深度算法优化与模块化设计，将核心代码压缩至500K-800K。

这种轻量级设计不仅适用于资源受限的嵌入式设备，还通过去中心化的P2P架构减少了对中心服务器的依赖，提升了通信效率。

提供丰富的API和SDK，支持多种开发语言，帮助开发者快速集成音视频通信功能，缩短开发周期。

EasyRTC视频会议系统支持私有化部署，用户只需打开网页即可使用，彻底打破地域限制，一场会议可支持上千人同时在线。

支持H.264/H.265视频编解码，可实现超清流畅视频画质，还原真实的视频对话场景，并能支持多画质选择，方便用户根据自身的网络情况进行灵活选择。

在EasyRTC中，已实现会议室合流转推到流媒体内核进行转发并生成录像保存到服务器，用户可以根据日期查询该录像并进行播放、下载。

随着WebRTC技术的不断崛起，视频会议系统也迎来了全新的模式，TSINGSEE青犀视频结合WebRTC和RTMP/RTSP技术的优点，开发出EasyRTC平台，支持一对一、一对多等视频会议互动通话等功能，可满足用户的多场景视频通话需求。

EasyRTC适合召开各种现场会议，实现多个会议现场之间的视频多画面轮换，支持即时会议、例会、多组会议等会议形式，并可将视频会议以图文+视频+现场声音实时直播的形式通过互联网对外直播，实现PC、手机、网页全覆盖，扩大直播观看的范围。更多关于EasyRTC的功能与开发，敬请关注我们的更新。

TSINGSEE青犀视频云边端架构体系的产品中，流媒体平台均是使用Go语言开发，因为遗留代码的问题，EasyNVR、EasyDSS等平台需要使用govendor进行代码的项目管理，而EasyRTC 等新项目则是采用gomod进行开发。以下是我们在开发平台过程中，对两者的使用进行的总结，现与大家分享下。GoVendor的基本使用如下：govendorinit初始化项目govendorfetch增加依赖govendorremove删除包依赖govendorupdate更新包依赖...

自从RTMP推流协议诞生以来，依靠RTMP协议做的推流开发就一直都未停歇，在没有找到更加完善的替代品前，市面的主流推流仍将会由RTMP协议来实现。如大众所熟知的一样，PC端web主流的视频直播方案也一直是RTMP，包括我们开发的EasyCVR平台，也在最新的版本中支持RTMP推流了，不过该版本目前正在测试当中，测试完毕将会上线，大家届时可以关注。我们本文的焦点还是放在HTML5视频的推流直播上。随着直播平台爆发式的增长，H5直播的需求也变得异常丰富。通过H5直播的整体流程大致分为三个模块：视频采

近期我们在编译WebRTC时碰到了一些问题，通过C++编译WebRTC项目，获取sdp的数据为空。我们使用window api调用go服务端接口，接收到的数据为空。返回的数据如下：通过数据打印出来，发现bufRev没有数据，也没有出现其他错误信息。通过打断点分析发现，异常情况下，select函数一直始终返回0：再到go服务端发现接口已经调用成功：使用上面简单测试go服务器接口（/stream/test/:channel:）。通过这个接口测试，select函数返回的是1，而且可

大家知道我们的WebRTC开发已经到达一个新的阶段了，目前EasyGBS国标视频云服务内已经支持WebRTC协议视频流的输出了，欢迎大家体验。搭建webrtc不得不提的就是turn服务器了，在webrtc中，每当两个设备之间无法直接连接时，就需要一个turn服务器来进行中转，同时，在点对点的服务中，也需要安装并运行turn服务器。但是如果将设备连接到媒体服务器（无论是用于群呼的SFU还是其他类型的服务器），仍然需要一个turn服务器，这又是为什么？实际上，这主要是因为某些防火墙会阻止某些类型的流

做流媒体视频开发的团队都知道，目前很多开发团队的视频流解决方案都喜欢使用 HTTP Live Streaming (HLS) 来直播视频。 我们经常被问到的另一项技术是 WebRTC。 这两种技术都很棒，但应用却截然不同。 在这篇文章中，我们将研究两者的特性和优势，以及它们适合的主要应用场景。什么是HLS？HTTP Live Streaming (HLS) 由 Apple 开发，目前是当今网络上流式传输视频的主要方式。 HLS 名称中的“直播流媒体”有点用词不当，因为视频不需要直播——油管.

2020年到2021年，可以说是音视频技术迅猛发展的一年。除了慢直播外，还有一种不得不提到的新趋势，就是“云会议”场景。云会议凭借其便捷、高效、低成本的优势，越来越常见于我们的生活当中。从全球来看，视频会议经历了模拟电视会议阶段、数字视频会议阶段、基于IP网络视频会议阶段、多功能统一通信管理平台阶段等阶段，毋庸置疑的是，在未来，视频云会议未来的发展空间也将是巨大的。通信技术的发展也将进一步为视频会议助力，比如视频通话当中流畅度、纯净度、智能度的体验都将得到更深层次的提升。基于音视频的云会议能在短

WebRTC技术是目前使用最广泛的即时通信技术，它是一个开源项目，旨在创建简单、标准化的流程，通过Web提供实时通信（RTC）。EasyRTC视频会议云服务是TSINGSEE青犀视频团队基于WebRTC技术以及多年的行业技术积累经验，研发的一项覆盖全球的实时音频开发平台。今天我们将和大家一起分享一项开发技巧：如何对EasyRTC创建新的空分支。在EasyRTC的Web开发中，因为RTC的特性，信令服务基本为自定义的信令。当用户希望定制时，则需要编写对应的信令进行消息通信。但是此种开发难度较大，因

WebRTC是一项开源技术，它可以通过网页实现语音和视频通信，而无需在浏览器中安装任何插件。 如今，WebRTC技术已经较为成熟，其集成了最佳的音/视频引擎，这项技术已经广泛用于视频通话中。在WebRTC开发过程中，将远端的sdp设置好之后，则可以获取到视频数据流。如果是js端，那么操作其实比较简单。但是C++端稍微比较麻烦。因为WebRTC在顶部带有一个Javascript API层，你可以在浏览器中使用它。这使得在任何地方开发和集成实时通信变得更加容易。在内部，WebRTC仍主要使用C / C ++

最近在项目对接中，我们发现很多用户有即时通讯、实时音视频互动的需求。应用场景如安全帽应用，需要实现安全帽与服务端的实时监管与喊话，作为智慧工地巡检、安全监督使用。具体需求如下：1、视频数据处理与存储：服务器依据配置情况对摄像头视频数据进行存储、回放等操作；2、音视频即时通话功能：支持web端，移动端和自研设备终端间的音视频即时通信；3、私有化部署；4、支持包含web端、移动端和设备终端在内的10路并发；5、提供给设备终端的通信软件接口符合国标GB28181协议；经过项目组的评估，E

webrtc是一个实时通讯技术，很简单的应用在web浏览器中应用实时通讯技术，包括音视频通话。在使用webrtc技术时，浏览器端都已经基本封装好，只要调用相应的api，就可实现简单的通话，其中一个主要对象就是RTCPeerConnection 支持音频和视频媒体数据通信。本文我们就分享一下一套完整的对等通信是如何实现的。浏览器端1、创建webrtc对等连接方法。let pc = new PTCPeerConnection({iceServers: [{ urls: ’stun:stun.

也许大家经常被问到" WebRTC安全吗？"一句话...是的。 WebRTC是安全的，并采取了许多安全措施以确保数据保持安全。这些包括：1.浏览器保护众所周知，WebRTC是在浏览器之间直接制定的，无需插件。这使WebRTC本质上更安全，因为它提供了额外的保护级别，可抵御可能伪装成插件的恶意软件或其他不良软件安装。此外，由于WebRTC是作为浏览器的一部分提供的，因此倾向于通过浏览器供应商的自动更新来快速解决任何潜在的安全威胁或漏洞。2.媒体访问WebRTC规范通过要求使用摄像机或麦克风的明

在开发webrtc时，由于是新技术，我们在编译或者调用过程中会出现平常不太常见的问题，比如使用js语言调用go接口发送base64，Go程序出现设置webrtc远端会话描述提示，但是控制台会出现报错。Js端出现接口500（Internal Sever Error）错误：js端代码是通过RTCPeerConnection方法来监听onicecandidate里的函数回调的值，如果回调的值未null的话，说明就是监听完成，这里要判断是否为null，再获取本地的会话描述转换base64传给服务端。

在编译WebRTC过程中，我们上一篇解决了c++编译WEBRTC视频播放项目获取sdp会话描述失败的问题，在解决这个问题之后，重新建立SDP会话描述之后，视频添加成功，但是实际播放的时候画面会卡住。测试C++ WebRTC播放时，在播放大约4~6s后，画面会停止播放，一直卡在最后一帧画面。报错如下：(video_receive_stream.cc:659): No decodable frame in 3000 ms, requesting keyframe.该报错的意思是播放画面一段时间，3

近几年随着人们对网页视频要求的提高，WebRTC被越来越多的人熟知，运行WebRTC需要搭建一个用户界面，并且需要一台服务器来发送信令，WebRTC处理SDP信息的创建和处理，通过拉流库进行拉流，实现WebRTC的网页播放功能。我们在通过C编译WebRTC时，出现添加视频未成功的现象。CWebRTC实现与go pion库进行拉流，添加视频和音频源，导致C++中WebRTC为进入自定义的重写的虚函数里，无法进行下一步操作。例如获取SDP会话描述：按照正常的流程建立会话描述，以C++中We.

随着科技的进步和大众对教育的重视，越来越多的创新授课方式被搬进了课堂。除去传统的讲课方式之外，与信息技术结合的授课为改变传统的教学模式提供了有效途径，这其中就包括课堂桌面同屏授课的方式。此前我们开发的一款桌面同屏的软件EasyScreenLive，可以直接运用在课堂同屏当中：简单、高效、稳定的集采集、编码、组播、推流和流媒体RTSP服务于一身的同屏功能组件，具有低延时、高效能、低丢包等特点。目前支持Windows，Android平台。通过EasyScreenLive我们就可以避免接触到稍显复杂

随着移动互联科技的迅猛发展，5G网络的兴起，手机等硬件配置越来越高，低延时网络音视频也越来越走近人们的生活，在教学、会议、在线医疗、招聘、交友等视频直播的需求日益扩大。目前市场上基于WebRTC架构搭建的音视频直播还不够完善，如：1）直播技术延迟非常大，从观众评论到看到主播给出反馈一般要在十秒以上； 2）各种视频的APP多种多样，接口复杂，不适合接入； 3）针对各行各业视频直播的互通性差，各种协议的兼容性不够； 4）扩展性差，集成的直播系统二次开发难，不能灵活拓展延伸功能。而且视频直播.

EasyRTC则不同于TSINGSEE青犀视频其他的平台，EasyRTC企业视频通话会议系统是基于WebRTC编译的网页通话平台，具备更低的延时和更高的传输效率。某个客户项目在测试EasyRTC时，出现无法进入会议室的情况，打开前端浏览器控制台，显示如下：出现此种错误大概率是因为证书问题导致的，因此首先确认客户是否更换了域名证书。EasyRTC 后台中 websocket 模块使用的证书为 wss.pem，该证书在更新域名证书后，需要根据域名证书再次制作，因此制作新的wss.pem证书即可。

在兼顾多平台的开发时，我们对EasyRTC的测试仍然没有停止。在测试EasyRTC-MCU版本期间，用户进入会议室偶尔会出现黑屏现象，但屏幕仍会间接性出画面，同时伴随闪烁问题。针对该问题TSINGSEE青犀视频开发人员检查了后台页面，未出现报错问题，因此可以排除代码问题。随后检查后端打印日志，也并未发现异常，最后对比FreeSwitch demo的websocket通讯数据，发现是新增了一个Authentication Required的尝试认证请求，但是我们并没有及时添加该请求。在加上这个

webrtc的存在给在线视频会议系统带来了新的模式，TSINGSEE青犀视频开发的网页视频会议系统EasyRTC综合了webrtc和rtmp/rtsp方案的优点，支持一对一、一对多等视频会议互动通话，满足语音社交、在线教育和培训、视频会议和远程医疗等场景。EasyRTC分为MCU版本和SFU版本，EasyRTC-MCU版本在进入会议室的时候，如果是第一次进入，会先获取本页面对摄像头和麦克风，此时若用户不进行操作，或是等待5秒以上，则会进入会议室失败，且在此进入时会直接报权限获取失败。因为等待时间而造

十年前，谷歌为两种基础的网络媒体技术埋下了种子，希望它们可以为更加活跃的互联网提供根源。两次收购On2 Technologies和Global IP Solutions导致了两个开源项目：WebM项目（由Google免收专利费的一系列最先进的视频压缩技术（编解码器），以及WebRTC项目构建用于实际的API）网络上的时间语音和视频通信。这些举措是主要的技术努力，是实现HTML5承诺并支持视频会议和流传输的必要基础结构。但这也是媒体的哲学发展，正如产品经理Mike Jazayeri在他的博客文章中称赞