superxxd的专栏

原创 基于casbin的多设备多用户流媒体管理框架

我知道这个挑战很大，也有很多超过我的能力，但我相信在互联网深入人心，协作共享成为主流趋势的现今这个平台一定有价值，一定会有不同的人愿意来尝试并迭代并完善他，在这里我想致敬#casdoor #hotgo#goadmin是这些优秀的设计给了我启发和初步的能力。1.资源管理,包括流和设备，sdk算法等以应用的形式存在，并由提供商发布和提供支持，代理商可以加入共同推广，行业应用拓展，所有资源可以实现有控制的互联互通，通过发布订阅实现能力的共享，以数据流做为介质，自定义指纹授权管理。

原创 嵌入式webrtc音视频多端p2p sfu传输方案

我们在实践中采用物联网常用的mqtt协议来实现设备管理，使其实时状态以及拉流的调度实现起来非常方便快捷。在建立的实时p2p通道中，可以融合传输音视频数据说，同时也可以传输传感器的采集和控制数据，确保数据安全高效低延迟.实时响应性能卓越，兼容多平台互通，是新型物联网应用的利器。Webrtc在实时音视频中占据重要位置，在小型嵌入式设备上实现音视频数据的组合传输也越来越成为趋势，通过方便快捷的信令调度，可以实时相互拉取对等方的音视频流也可以通过sfu服务器实现转发。

原创 远控桌面多任务并发文件保密传输

在传输时首先判断文件大小，如果文件小于阈值就开启单任务传输，目前测试速率在2-4M bytes每秒 B/s速度还将就，为了提高传输速率，对于大文件采用多任务并发模式可以提高到8M以上，因为是自定义操作，点对点操作，所以安全隐秘性是完全可以定制的，但是对于用户操作的各种场景，要做各用户同时传输，分片传输这的确是一个挑战，如何应对容错，回滚，文件冲突等难题，策略如何，都不好应对，本着先满足基本功能再迭代优化的思路先加个轮子跑起来再说。

原创 云桌面，扁平化组织连接利器

2.自带流管理，支持多流共享，格式支持h264 h265 av1 opus yuv420等，1080p 4k分辨自适应，多屏幕虚拟屏幕个性化按需分配。1.基于串流的采集动态编码技术，支持软件GPU硬件编码模式，可变帧率，低延迟高画质带宽，游戏渲染也丝滑。6.加密迅捷的文件数据传输通道，拖拽 ctrl c v实现文件远程传输，剪切板内容远程交换。5.无人执守代理，支持键盘鼠标虚拟控制，支持锁屏登录界面，支持远程关机，开机自启动。4.物联网级设备管理机制，支持基于设备，组织的消息信令发布定阅。

原创 融合软硬件串流多媒体技术的远程控制方案

但是细分市场，还是值得深入做深做实，我们选择了一种多媒体融合控制方案，集硬件版本kvm，串流版本kvm,多媒体摄像头接入转发等多功能为一体的多端互联互通的方案，使音视频数据及iot控制数据完美的的融合，形成一个强内聚的核心分发网，并跨嵌入式终端，安卓移动，web 浏览器，微信小程序等多端使远程更快捷，业务逻辑展现更容易，实时性更强。远程技术已经发展得有相当水平了，在远程办公，云游戏，云渲染等领域有相当多的应用场景，以向日葵，todesk rustdesk等优秀产品攻城略地，估值越来越高。

原创 基于串流技术的p2p共享桌面共享方案

传输基本上串流跟webrtc类似，主要是rtp udp传输加大剂量fec，不吝啬带宽大力出奇迹，为了内网穿透很多用上了upnp技术，不过比起全方位可信令交互生态完善的ice在业务场景上的自由度还是差点意思，所以我改进了传输，优化了底层，融入了我自己写的闭环信令系统，方便业务逻辑控制，也完全实现了内网p2p，甚至多内网级联分享，关键是可以在我的浏览器播放器中使用，支持h265的大分辨率桌面共享，可以像推拉流一样享受远程桌面，同时集成业务级的关联逻辑控制和设备管理。于是借这个春节假期好好的研究了一下串流技术。

原创 全闭环直播推流桌面分享远控系统

3.支持多协议多编码接入，目前支持rtsp，rtmp gb28181 webrtc的按需拉流，拉流逻辑完全由客户端实现，可以做到端到端的自加密传输，支持annexb rtp h265 h264等视频的传输和播放，支持aac ，pcmua opus等音频的传输和播放，无插件支持h265浏览器播放，数据完全自主可控，方便接入tensorflow.js实现ai模型应用。1.多端互通，涉及服务器端，网页端，移动app端，微信小程序端，嵌入式设备端，各端的框架代码都是我无数个昼夜，辛苦构思，敲出来的。

原创 直播不仅可以带货，还可以远程协作

直播是一种非常直观高效的信息共享模式，目前直播带货比较火，但我也不懂，现就我涉及的领域和实践做一些分享，目前我所做的直接互动分发系统在软硬件全系统闭环下，结合100ms级的低延迟，基本可以让人有深入其境的体验，但传统直播很难做到交互控制，比如桌面共享，远程仪器仪表操作，远程机器操作，所以直播结合远程协作控制又将用户体验提升一个新的层次，给信息化数字化带来了新的助力。

原创 高性能安卓推流系统基于rk3568实测

高性能音视频采集拉流推流编解码渲染存储引擎…

原创 嵌入式流媒体消息分发队列设计

通过设置一些信号量及互斥来实现系统级的线程调度，为了使使用更简洁，封装了一些简单的api，实现音频信息 视频信息以及信令信息的接口，将具体的逻辑封装起来，线程中直接调用这些接口就可以实现系统级的订阅等待和数据发布功能，当然这个代码不一定设计最科学和合理，但的确为我的系统带来了多线程处理过程的简洁明快的好处，也在实践中运行良好，现将他开源出来，也希望各位大佬指正，帮助我提高。好了，各位有啥好的意见和建议欢迎跟我交流。本代码用于我的嵌入式webrtc系统，大大简化了我的系统的复杂度。

原创 基于rk3568 Android H265推流SRS低延迟网页播放方案

srs作为国内开源多媒体服务器的翘楚，拥有大量的用户，积极拥抱其生态是必然选择，在对接srs rtmp推流时，因为其有严格的格式验证，需要格外小心，不然会导致解析码流失败，当然这个跟良好兼容性形成了鲜明的对比，当然这个是见仁见智的。当然做完这些，我们并不满足，因为预览的延迟，并没有达到毫秒级，于是我们做了无插件H265网页低延迟播放器，从srs拉取rtmp流，而不是flv流，实现了webrtc级的低延迟预览，下面是对比测试效果。在满足上述要求的情况下，我做了以下实践，取得了良好的效果。

原创 音视频rtsp rtmp gb28181在浏览器上的按需拉流

按需拉流是从客户视角来看待音视频的产品功能，直观，好用，为啥hls flv大行其道也是这个原因，不过上述存在的问题是延迟没法降到实时，通过一段时间的努力，结合自己闭环技术实现了h264 h265 aac pcma pcmu等音视频的rtmp rtsp gb28181地址的直接拉流播放，技术其实不复杂，但这里涉及了很兼容性和容错处理，自适应处理，每一个都涉及到前后台的实时交互和媒体流参数的实时识别和适配不同的传输通道，解封装，解码通道，渲染通道，这是一个需要大量场景来验证的一个苦差事，很多逻辑相关性的调配。

原创 超低延迟直播技术路线，h265的无奈选择

超低延迟，多窗显示，自适应编解码和渲染，高分辨低码率，还有微信小程序的标配，这些在现今的监控和直播中都成刚需了，中国的音视频技术人面临着困境，核心门户浏览器不掌握在自己手上，老师只讲即要又要还要，并且一专多能工资少，能白嫖绝不花一分钟，反正时间不值钱，于是就出现了各种开源抢占生态位，各种偷偷用开源搞成闭源闷声发大财，信息的和资源的不对对，导致市场极度扭曲，我就是在这种状态下，夹缝中求生存，抱着伟大的及永不磨灭的兴趣爱好，闹门造车，，搞三不像，各种投机取巧，消磨了时光和意志，留下一堆自嗨。

原创 微信小程序支持h5实现webrtc h264 h265低延迟传输渲染

微信小程序自成体系，自身也带了很强的rtc音视频能力，但是他捆绑了他自己的服务，开发也相对受限于他的api。

原创 利用现代技术打造基于浏览器的H264/H265极速播放器

webgpu的问世，让浏览器处理图形渲染，滤镜更强大，速度更快，让我们开始探索浏览器播放器的开发，先来一个序章，基于wengpu的渲染，可以实现work线程以及离屏渲染，将硬件加速拉满，你还可以基于这个基础实现进行相关滤镜的开发。

原创 安卓音视频多对多级联转发渲染

最近利用自己以前学习和用到的音视频知识和工程技能做了一个android的sdk,实现了本地流媒体ipc rtsp 拉流以及自带mip usb等camera audio节点产生的流媒体通过webrtc sfu的方式进行多对多级联发布共享,网状结构，p2p组网，支持实时渲染以及转推rtmp，webrtc,h264 h265 opus aac g711,均支持，在rk3568 android 11上多路1080p 30fps渲染转发毫无压力，请教大佬们有什么好的应用场景来适配这个技术。

原创 android sdk 多媒体功能调研

1、启动本地摄像头及音频节点的发布功能，实现sfu本地化的能力（将边缘主机变身成一台小型的sfu服务器），其他终端可以通过信令获取这些试试推流的音视频并展示，支持H264 H265在浏览器以及android ios windows等终端桌面系统的连接。3、启动本地摄像头或rtsp拉流转发布至livekit,利用livekit的生态实现多对多sfu视频会议系统，也支持自主mcu模式的小型多peer视频会议互联。4、虚拟键盘鼠标操作，通过实时数据通道实现，键盘鼠标的传递，实现kvm的能力。

原创 多媒体开发之cgo

go在流媒体传输领域也有很强大的生态和优秀的轮子，比起传统的ffmpeg这种大而全的库，可以选择性的用一些小巧强悍的go语言写的库来替代ffmpeg，比如rtsp拉流，笔者用ffmpeg在android下写了一个推拉流的播放器，但是由于ffmpeg自成体系，在灵活定制方面有一些局限性，于是尝试用go rtsp来代替ffmpeg的rtsp拉流。以下是go写的动态库源码，由于go的包管理做的特别棒，你可以用很少的代码实现一个多路拉流的应用。感觉比c++爽多了。

原创 嵌入式开发之物理量标称值标定

标定同时也是法定量值传递的一种规程，也是数字信号转换成物理值得一种必要手段，标定的原理主要是设置一个内在得数字信号和物理量值间的关系，然后验证测量的误差是否满足要求，根据测量误差再修正对应关系得一个调节过程。由于采集得传感器型号本身具有多样性，往往也不是一种线性对应关系，为了更准确得表达对应关系，采用分段方法来拟合曲线对应关系，减少运算负担，以下是一个通用的多路传感器分段线性标定的实现方法和转换运算得api，当然你也可以进一步采用最小二乘法进行曲线拟合，将标定精度进一步提高。标定也可以认为是校准。

原创 嵌入式开发之编码器速度采集

本应用采用增量式编码器进行速度和里程的精确测量，在软件设计上采用中断方式采集编码器输入的脉冲信号，本例的脉冲转一圈输出2000个脉冲。采用M/T测速原理，利用PIC32的定时器作为时间参照系，与采集的脉冲数一起进行比例运算，得出实时速度，并可以实现里程的累计预算。应用于实时测速和里程双测量的应用，大量应用于速度校正，里程计量，恒速控制等工业测量控制场景。

原创 嵌入式开发之串口通讯

典型的中断接收的串口驱动，基于PIC32,支持ucosii rtos，大家可以从中学习到串口驱动的基本用法，让硬件层和应用层进行分离，实现通用的可移植的代码。低，是嵌入式开发中的法宝，也是必备技能之一。

原创 嵌入式系统之ADC采样

嵌入式系统往往会有模拟信号的采集，比如模拟传感器温度、压力、流量、速度、光强等模拟量，经过放大整形滤波电路后送给ADC芯片，将电信号转转变成离散的数字量这个过程称之为AD采样，AD采样应用广泛，普遍遵循采样率3倍于信号变化频率的法则，也就是说我们采样的时间延迟在1/3信号变化延迟即可得到完美的信号变化特征。

原创 嵌入式开发之上位机工业风界面实现

首先我们看到的漂亮精美的画面是一幅一幅的png图片或者gif动图，如果我们能找到方法将这些图片根据状态或采集数据和状态的需要，实时的展示渲染出来是不是就可以了呢。工业风的界面随着计算机软件计算的发展逐渐衍生出了现在风靡业界的数字孪生应用，也从二维的变成3维实时仿真的UI，大大的增强了数字化虚拟世界的表达现实世界的能力。同上，速度表盘或者压力表盘也可以照此方式实现，将图片作为背景图，然后自绘表指针，根据实时数据计算算出表针的旋转角度，即可实现一组精美的表盘控件。

原创 嵌入式开发之bootloader

启动代码是mcu厂家提供的demo，我们可以在这个里面进行按需更改，比如加上一些特殊的处理代码，一般bootloader类的代码直接可以采用原厂的代码，这个汇编语言也跟mcu采用的内核及指令集密切相关，但功能都相差无几，当你想了解一款mcu时从读懂他的启动代码是最快的一种方式，汇编语言难懂，主要是在于你记性好不好，就像想在网络流行的很多简写体，你没有功略可能就是天书，所以不清楚的差芯片指令手则就好了，无他为手熟尔，我相信隔一段时间你又会搞忘的，所以不要纠结这个，也没必要去背他，当然你是学霸除外。

原创 嵌入式开发之固件下载工具dd

在嵌入式看法过程中，需要经常更新固件，常用的是jtag之类的下载工具，当然你也可以采用一些微型的bootloader通过串口来下载更新固件。其实在线升级也没什么好高深的技术，也就是如何定义一个协议将固件文件传递给板载boot loader，再由bootloader写入到板载的flash中，当然为了安全性和稳定性，你可以加入加解密验证和回滚机制，传输也可以采用网络串口等，实现真正的在线升级功能，一下就是一个简单的pc机的下载工具，从我开始涉足嵌入式开发开始一直陪伴我无数次的在线代码升级。

原创 嵌入式开发之工具hex2bin

在嵌入式开发时，很多时候我们需要将嵌入式编译链生成的hex文件转换成bin格式，然后再用bootload下载到板子上，方便在线升级，可以生成一个小工具软件在下载的脚本里先转换格式再下载bin文件到板子上。

原创 嵌入式系统之shell

shell的本质就是通过对命令行的解析实现对应功能函数的调用，一般嵌入式的输入终端大多数采用串口进行交互，下面就是一个简单的接收串口的键盘输入然后解析内置的命令，实现内置功能函数的调用，程序可以采用可配置的方式，实现命令字和功能函数指针映射，实现强大而简洁的shell功能，这种解析技巧也可以用在文本协议功能解析上，逻辑简单易于扩展，功能强大，欢迎大家交流。

原创 多媒体服务器的向高手学习之路

用go写自己的多媒体服务器也有一段时间了，但基本上都是靠自己发挥了ctl c v的优势，离大佬还有相当长的路要走，决定还是研究一下元老级的的几个多媒体服务器的代码（说来惭愧，虽然学习多媒体音视频有一些时间了，这几个项目还没有真正的去学习过），向行业高手学习总是那条最捷径的路，现在虽然我绕了一点路，但还好没偏的太远，继续上路，srs zlm mediasoup janus先从简单的编译运行开始。

原创 手机浏览器支持自定义加密传输h264 h265低延迟极速传输，为你的iot音视频融合运用装上想象的翅膀，为个性化运用助力

原创 多媒体服务器核心实现(转发)

多媒体服务就是将推流进来的媒体流转发至消费的播放器，其中对于webrtc的媒体流主要是一个信令交互，然后建立连接后实现流的发布和向订阅的peer进行转发。webrtc track到来时发布流并向所有订阅本流的播放器进行转发逻辑。播放器跟服务器建立webrtc连接peerconnection。服务器跟webrtc设备端进行信令交互并建立连接。

原创 多媒体服务器核心实现(信令)

一般多媒体服务器都是很少有信令或者信令比较弱，主要是考虑信令跟业务强相关，但是iot领域有非常需要一个很好用的信令组件，实现互联互通，又方便自定义，于是我选择了iot领域用得比较多的mqtt作为信令载体。类似消息机制的设计，将具体的信令和接收发送逻辑分离，方便维护。信令是一个自定义的命令字的传输和功能解析。基于json的传递message 结构。

原创 多媒体服务器核心实现(流管理)

stream 流是一种资源，也相当于生产者，供很多消费者peers来使用，stream跟peer是一对多的关系，它由多媒体流输入来产生，同时支持向livekit room发布流，需要消费的peer统一由pees 的map来管理，根据连接状态进行增删等操作。4、详细的方法实现如下，此构成了多媒体服务的核心之一，流的生成及消费和状态管理，以及连接的生成和状态管理，实现媒体的发布和消费，流就可以真正的流转起来了。简易的播放器，支持p2p及流媒体转发，支持rtmp及webrtc的转发。

原创 iot融合多媒体边缘p2p组网服务

利用webrtc的强大p2p能力，接合mqtt灵活的实时发布订阅广播能力，打造gb28181 rtsp rtmp webrtc等推流h264 h265 aac opus，实现树状，网状p2p组网，将iot实时数据及音视频数据融合在网络并发分发，按需消费，逻辑和网络路由由客户端定制，利用时序数据库tdengine强大iot大数据存储分析能力，打造内网布署，全网分亨的分布式系统，高效的为数字化应用提高强大的采集分发分析工具

原创 H265硬解终于来了，100ms内延迟不是梦

随着浏览器的的开放,webcodecs更多解码能力得以释放，zoom模式也变得越来越有吸引力，端到端低延迟低码率，高画质AⅠ加持已经路径成熟了，目前本地h265端到端直播延迟进入100ms已经成为可能

原创 webrtc H265/H264播放器性能测试

浏览器作为计算机操作系统通用门户，非常方便的提供了访问互联网的功能，而且可以很好的结合业务拓展，为播放音视频提供很好的载体，比专用桌面播放器在方便性易用性的优势明显

原创 webrtc H265 网页播放器迈向实用第一步

支持了GB2818摄像头的推送转webrtc网页拉流，H264/H265据实现网页实时播放，本地测试有非常不错的低延时效果欢迎大家下载测试。

原创 webrtc 浏览器播放器支持mse硬解

根据bilibili以及dash的启发，终于实现了h264/h265 aac fmp4码流的硬解播放，实现了wasm软解码以及mse硬解码的双支持，目前浏览器已经很好的支持h265播放了，高分辨实时音视频播放及实时帧处理成为可能，欢迎大佬技术指导交流

原创 H265播放器及设备和服务器端信令交互说明

h265播放器主要针对webrtc的实时流，所以信令在里面是一个很重要的组成部分，由于业务的关系，需要自己将信令跟自己的系统进行深度融合，本播放器，主要针对大量分散设备的管理和p2p拉流，所以主要选择了mqtt这个极简有很灵活的协议作为信令传输的主要协议。

原创 实时WebRTC网页播放器进入快速功能迭代

物联网时代，AI时代的到来，催生了各种应用场景的技术融合，适应实时流、支持多分辨率、多编码格式、低延迟、容易跟各种系统集成使用的播放器需求越来越迫切，在全球技术大变革，中美争霸的大背景下，我们小小的开发人员可以用自己的双手为中国的软件生态助力，国产实时音视频生态日渐崛起，我也要做其中一个小小的水滴，准备用自己的勤奋和大家一起打造一款好用的开源的实时播放器。2、支持H265 webrtc datachannel 拉流，wasm 解码 webGL渲染OPUS音视频 webrt拉流，做到了音视频的同步。

原创 基于metaRTC嵌入式webrtc的H265网页播放器实现（我与metaRTC的缘分）完结

metaRTC 嵌入式webrtc p2p H265 播放器实现。采用wasm技术，metaRTC IPC 软件包 ，datachannel h265视频编码发送的函数，并实现了帧的解析。过程比实现本身的价值更高。