乐学吧

有人说，音视频行业最苦最没有意思、高投入低回报的就是做SDK。在我们看来，少一次拷贝、一次功能的迭代是进步，但大多数情况下，对于不了解细节的开发者看来，不深耕不细测很难看出端倪。大牛直播SDK的预期就是专注、极致、智慧、比快更快，做音视频行业的基石，帮助更多的行业，更少的精力实现音视频接入能力，任何行业，持续进步，才会有更大的收获。从另一个角度来说，看似每一次的精进，对我们技术从业者来说，都是持续的乐趣。

GB28181记录仪，可以实时采集摄像头和麦克风数据，并编码打包，巡检人员可以全程记录巡检过程，如铁路设施、轨道状态、信号设备等，并可对异常或潜在问题记录。确保信息的畅通无阻。我们在做Android平台GB28181记录仪设备对接的时候，有场景是用在铁路可视化巡检场景下，大家可能有疑惑，GB28181记录仪在铁路可视化巡检中，有什么作用？先说技术架构图，GB28181记录仪，可以采集摄像头（或OTG外置设备）、麦克风数据，编码打包，和指挥中心国标28181平台实现媒体数据互通和信令交互。

GB28181-2022快照实现，最好是单独开个实例，帧率根据实际快照间隔或者要求，不需要全帧率投递，在不录像不实时回传的时候，也能实现快照逻辑，然后按照规范要求和国标平台侧的客制化诉求，把快照后的文件上传到国标平台。

后台采集摄像头，如果想再进一步扩展，可以把android平台gb28181的camera2 demo，都移植过来，实现功能更强大的国标设备侧，这里主要是展示，收到国标平台侧的回传请求后，才打开摄像头，才开始编码打包，最大限度的减少资源的占用，感兴趣的开发者可以跟我单独交流。

视频格式]H.264/H.265(Android H.265硬编码)；[音频格式]G.711 A律、AAC；[音量调节]Android平台采集端支持实时音量调节；[H.264硬编码]支持H.264特定机型硬编码；[H.265硬编码]支持H.265特定机型硬编码；[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；[软编码参数配置]支持软编码profile、软编码速度、可变码率设置；支持横屏、竖屏推流；

Android平台拉取RTSP流后，有了数据源，开发者可以在一个推送实例中，转推到不同的业务场景，实现高效率低延迟的数据转发。

RTSP转GB28181到国标平台侧，涉及到两个模块，RTSP拉流和GB28181设备接入，如果需要本地录像留存数据，还需要有功能齐全的录像模块。实现起来，如果没有成熟的技术储备，短期内确实很难做出来真正可用的产品。以上是大概的流程，感兴趣的开发者，可以跟我探讨。

以上是GB28181图像抓拍大概的流程和设计参考，权当抛砖引玉，Android终端除支持常规的音视频数据接入外，还可以支持移动设备位置(MobilePosition)订阅和通知、图像抓拍、语音广播和语音对讲、历史视音频下载和回放。感兴趣的开发者，可以单独跟我探讨。

Android平台GB28181设备接入侧模块，如果需要做的更好，上述提到的技术层面的问题解决了还不够，还需要针对各类国标平台适配对接，只有这样，才能更好的为执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景服务。

众所周知，WEB VIDEO PLATFORM是一个基于GB28181-2016标准实现的开箱即用的网络视频平台，负责实现核心信令与设备管理后台部分，支持NAT穿透，支持海康、大华、宇视等品牌的IPC、NVR接入。除了常规功能外，比如视频预览、云台控制、预置位、支持订阅和通知、心跳保活外，wvp-gb28181-pro还支持实时位置订阅，遗憾的是，demo没有看到语音广播和语音对讲，由于平台是开放的，感兴趣的开发者也可以扩展支持。基于此，我们也编译了wvp-gb28181-pro，本地部署了他们的服务。

Android平台GB28181历史视音频文件回放，除了上述信令交互外，还需要处理RTP打包发送等，相对其他功能实现更复杂，感兴趣的开发者，可以尝试看看。

GB28181可实现监控视频的实时传输、回放、点播和存储等功能，适用于大规模的视频监控系统，如城市安防、企事业单位、交通监控等场景。简单来说，GB28181适用于视频监控系统，用于实现监控设备的接入和视频流传输控制等功能，比如如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景。[扩展录像功能]完美支持和录像模块组合使用（支持RTSP H.265流录制，支持PCMA/PCMU转AAC后录制，支持设置只录制音频或视频）。

以上是大牛直播SDK关于Android平台GB28181设备接入模块执法记录仪相关技术方案，除了基础功能外，GB28181模块还可以实现实时音量调节、实时快照、按需录像、历史视音频下载、历史视音频回放等，感兴趣的开发者可以尝试看看。

适用于在线教育、智慧教室|无纸化推屏|会议、运营商视频云平台、执法记录、远程医疗、虚拟仿真实训教学、VR教育、云展会、金融双录、智能可视门禁对讲、智慧安防、智能家居、物联网、智能车载、传统硬件领域、媒体移动直播、应急指挥调度(针对保险、城管、交警、消防、公安等职能管理部门的单兵应急执法系统)、远程专家诊断、可视化巡检、(如电信/电力线路/铁路沿线/水利设施/油田/消防设施巡检)、移动视频安防监控，企业内训、监控对接等场景。- RTMP可以传输音视频数据和控制信息，支持实时播放、直播推流、推拉流等功能。

实时位置（MobilePosition）订阅和上报，对GB28281设备接入终端尤其重要，如移动单兵设备、执法记录仪、智能安全帽、车载终端等，Android国标接入设备通过获取到实时经纬度信息，按照一定的间隔上报到国标服务平台，国标服务平台通过如电子地图，实时动态显示前端设备的定位信息，从而实现前端接入设备的可视可控管理。3. 发送订阅请求：使用SIP协议发送一个位置订阅请求。6. 处理位置更新消息：订阅者收到位置更新消息后，可以根据需要进行相应的处理，如在地图上实时显示设备位置、记录设备行踪等。

在做Android平台GB28181接入模块之前，我们在RTMP推送播放、RTSP轻量级服务、转发、播放这块，已经有很多年的经验，这意味着，我们不需要重复造轮子，已有屏幕、摄像头或编码前（目前支持的有YV12/NV21/NV12/I420/RGB24/RGBA32/RGB565等数据类型）或编码后（H.264/HEVC）数据，只需要实现GB28181的信令交互，和媒体处理，即可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务。1. 导入GB28181的

什么是平衡控制？平行控制是数据驱动的计算控制方法，其核心是利用人工系统进行建模和表示，通过计算实验进行分析和评估，借助平行执行实现对复杂系统的控制。平行操控应用场景无人驾驶：平行操控可以应用于无人驾驶车辆的远程控制。通过将虚拟车辆与现实车辆相结合，实现车路互动、多车协同、平行操控、安全行驶。在遇到异常情况或复杂道路时，该解决方案能支持远程人工代驾、远程人工接管、指挥调度等操作。智慧城市：平行操控可以应用于智慧城市中的交通管理、公共安全、环境监测等领域。

大牛直播SDK推出的Android平台GB28181设备接入SDK（SmartGBD），可实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如执法记录仪、智能安全帽、智能监控、智慧零售、智慧教育、远程办公、明厨亮灶、智慧交通、智慧工地、雪亮工程、平安乡村、生产运输、车载终端等场景。

好多开发者在做GB28181设备接入的时候，问云台控制是否可以处理（亦或拉取外部RTSP摄像头，通过命令中转的方式，控制摄像头），实际上云台控制命令相对来说还是比较好处理的。协议规范有明确说明，云台控制命令不需要发送应答命令，实现相对简单，和我们之前做的远程启动命令（TeleBoot）类似。在实现云台控制命令之前，我们先回顾下设备控制的基本要求：源设备向目标设备发送设备控制命令，控制命令的类型包括球机/云台控制、远程启动、录像控制、 报警布防/撤防、报警复位、强制关键帧、拉框放大、拉框缩小、看守位控制、设备

GB28181媒体保活机制，相对比较清晰，不会有大的规范解读误区，感兴趣的开发者，可以参考实现。

像执法记录仪等智能终端，跑在Android平台，对接GB28181平台的需求也非常大，网上相关demo也不少，但真正设计符合相关协议规范、功能完善、长时间稳定运行的并不多。接口设计这块，我们分三个部分：一个是供Publisher实例调用的接口，一个是RTP发送相关的接口，还有一个是针对语音广播这块，实现的接收RTP数据播放接口。好多开发者在做国标对接的时候，首先想到的是IPC摄像头，通过参数化配置，接入到国标平台，实现媒体数据的按需查看等操作。上述接口说过之后，大家可能疑惑，信令交互呢？

注册和注销基本要求 SIP客户端、网关、SIP设备、联网系统等 SIP代理(SIP UA)使用IETFRFC3261中定义的方法 15 GB/T28181—2016Register进行注册和注销。注册和注销时应进行认证，认证方式应支持数字摘要认证方式，高安全级别的宜支持数字证书的认证方式，数字证书的格式符合附录I中的规定。SIP代理在注册过期时间到来之前，应向注册服务器进行刷新注册，刷新注册消息流程应与9.1.2.1 的流程描述一致，并遵循IETFRFC3261对刷新注册的规定。

GB28181设置接入侧，一般采用G.711A律或AAC编码，数据接入可能是直接通过AudioRecord采集，也可以是外部编码后的Audio数据，具体根据场景来选择即可。

今天主要聊聊GB/T28181状态信息报送这块，先回顾下协议规范相关细节，然后再针对代码实现，做个简单的说明。

同级或跨级流媒体服务器间基于 TCP协议传输视频流时,媒体流的接收方宜作为TCP媒体流传输服务端。传输方式采用“RTP/AVP”标识传输层协议为 RTP over UDP，采用“TCP/RTP/AVP”标识传输层协议为 RTP over TCP，需要注意的是，我们实际对接的时候，部分厂商SDP非常随意，有的甚至直接标记个tcp，这让我们对接的时候，很困惑。以上是GB28181基于TCP协议的视音频媒体传输探究及实现，感兴趣的开发者，可以查看相关协议规范，根据需求实现自己的业务逻辑即可。

本次更新，系在Android平台camera2 RTMP推送的基础上，继续支持Android平台GB28181设备和语音广播接入，此外，添加了基于层结构设计的动态水印（动态水印的场景应用特别实在传统行业，重要性不言而喻。我们demo实现的横竖屏切换时，自动切换分辨率，有些国标平台，对分辨率切换支持的并不友好，这点可以根据实际情况调整，比如固定横竖屏。总的来说，camera2对焦等各个方面，确实优于camera，替换升级也是大势所趋。新的demo增加了动态水印设置、轻量级RTSP服务、实时录像、快照等。

需要注意的是，UVC Camera采集的多大分辨率，就设置多大分辨率下去，如果需要缩放数据，调用native接口的时候，传递scale_width和scale_height下去，让底层缩放就好了，甚至如果摄像头角度不对，旋转下就好了，是的，接口就这么智能。其他，GB28181的接口，本文就不再赘述了，之前已经提过多次，UVC Camera和执法记录仪自带的摄像头，就是数据源不同而已，其他信令交互和媒体传输并无差别。如果有水平镜像问题，is_horizontal_flip传1，水平翻转下就好。

实际上，GB28181平台语音广播和语音对讲，特别是语音对讲，不光要解决传输跨网段问题，还可能要处理回音，噪音，增益控制等，这块，我们之前有了非常好的技术积累，处理起来轻车熟路，有需要测试的开发者，也可以私信联系我。两种技术方案虽然都可以实现语音对讲，方案1相对实现起来简单，但缺点明显，方案2技术优势有目共睹，更适合相对复杂的网络环境。遗憾的是，大多公司都没有实现，或者说市面上真正实现跨网段语音对讲的尚在少数，感兴趣的开发者可以酌情参考。

GB28181语音广播这块，如果平台侧和终端，都是按照规范来实现的话，问题会少很多，实际尴尬的是，大厂或部分厂商先入为主，实际生产环境，不一定按照预期的，谁的问题谁处理，作为Android终端模块，push不动国标平台侧的时候，有时候只有兼容它，这种痛苦真是一言难尽。

GB28181-2022针对H.265编码说明，弥补了2016规范的不足，H.265编码，移动端软编特别是针对高分辨率帧率，性能瓶颈很大，更合理的方案是实现高效率的H.265硬编模式，GB28181-2022，让H.265支持终于体现在规范层面，有理有据，相信会有更广阔的用武之地。

图像格式为4CIF以上时,网络传输的视频帧率应不低于15帧/s,重要图像信息宜25帧/s。Android平台GB28181接入SDK，实现不具备国标音视频能力的 Android终端，通过平台注册接入到现有的GB/T28181—2016服务，可用于如。11GB/T28181—2016前端设备接入监控中心单路的网络传输带宽应不低于2Mbps,各级监控中心间网络单路的网络传输带宽应不低于2.5Mbps。前端设备接入监控中心单路的网络传输带宽应不低于512kbps,重要场所的。公共安全视频监控联网系统 信息传输。

其他，如果需要同时推RTMP或者实时录像、实时快照、实时音量调节等操作，Android平台天生支持，感兴趣的开发者可以酌情考虑。

GB/T28181-2016中提到：SIP监控域建立实时、回放、下载等媒体链路时，SIP服务器发出的Invite消息应携带Subject头域作为此媒体链路的标识。SIP监控域应具有媒体分发能力，对于Subject中媒体发送方标识相同的视频应仅向目标SIP监控域或设备发起一次请求，通过自身的媒体分发能力将视频资源发往不同的接收端。部分开发者在实现GB28181设备接入或国标平台侧的时候，容易忽略Subject头域信息，本文就Subject头域定义，做个简单的回顾。感兴趣的开发者，欢迎沟通交流。

为便于联网设备或服务器之间互相识别对方支持的协议版本,在SIP注册及其响应消息(无论是成功或失败)头部带上扩展字段X-GB-Ver用于表示版本号。[视频格式]H.264/H.265(Android H.265硬编码)；[软编码参数配置]支持软编码profile、软编码速度、可变码率设置；[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；[外部编码后视频数据对接]支持外部H.264数据对接；[H.264硬编码]支持H.264特定机型硬编码；[H.265硬编码]支持H.265特定机型硬编码；

首先我们先回顾下相关技术规范，看看基于RTP的音视频数据PS封装。

值得一提的是，如果视频分辨率发生变化，本地录像的话，一般来说会切换新的录像文件，国标平台侧如果做的比较好的话，一般都会兼容这种分辨率变化的场景，起码确保分辨率切换的时候，不至于直接crash。实际上，比如一些执法记录仪等场景下，只需要一个固定的采集方向即可，这种情况下，锁定方向，反而是最好的。

以上是大牛直播SDK发布的Android平台GB28181设备接入模块的相关说明，除了上述接口设计外，模块还可以扩展实现实时静音、实时快照、按需录像、实时音量调节等，可扩展性非常好。

—更改了设备控制和设备配置基本要求及数据类型（见 9.3.1、A.2.1、A.2.3.1、A.2.3.2）。——更改了附录 F，补充了 H.265 编解码技术要求、AAC 格式（见附录 F，2016 年版的附录 E）。——增加了对 H.265、AAC 的支持（见 6.2、A.2.1.9、附录 C、附录 F、附录 G）。——更改了 SDP 协议的引用（见 6.4、附录 G，2016 年版的 6.4、附录 F）。——更改了与其他系统的数据交换（见 6.9、附录 A，2016 年版的 6.9、附录 G）。

以上是大概的流程，摄像头麦克风采集做到后台的话，可以在需要预览采集数据的时候才打开，不用的时候，直接关闭，只保留信令这块，打开视音频预览后，如果有语音广播过来，可以直接播放语音广播的数据，这样尽可能的减少设备的性能消耗，提高待机时间，特别是执法记录仪等户外设备，按需打开摄像头和麦克风，按需投递视音频数据到平台外侧，意义非常大。

需要注意的是，如果需要实现两路不同分辨率的编码，那么需要GB28181设备接入端实时上传的视频一个低分辨率和本地录像的一个高分辨率，分别对应两个publisher实例，并且确保视频和音频数据投递的地方，两个实例都投递数据，分别编码，两路视频编码，建议使用硬编码，软编性能达不到。