史上最详细的webrtc-streamer的H265解决方案

已于 2023-08-14 12:23:16 修改
阅读量5.7k 收藏 35
点赞数 10
文章标签： webrtc 音视频
于 2023-08-14 12:20:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20937557/article/details/132271507
版权

目录

前言

开局废话

软件环境

整体思路

详细方案

     下载mediaMtx

      配置mediamtx.yml

 启动

API使用

查询所有路径：http://localhost:9997/v2/paths/list

添加一个名称为111的通道路径（不转码）：http://192.168.1.227:9997/v2/config/paths/add/111

 添加一个名称为222的通道路径（转码）：http://192.168.1.227:9997/v2/config/paths/add/222

前言

我最欣赏马斯克的一句话，我不在乎专利，专利只会抑制科技的发展。我找遍了所有教程都没有关于webrtc-streamer可以播放H265的rtsp视频流的方案，我摸索到了我就分享出来，不管你们怎么想，我希望你们看了我的贴子，并且收益的话，希望你们也可以像我一样，知识只有分享才能共同进步！

开局废话

前端使用webrtc-streamer进行rtsp流播放，目前的webrtc-streamer只支持H264的视频，这在大多数场合都是适用的，但是在一些特殊的场合，相机端必须使用H265的编码格式，用来减少存储占用。这个时候我们要么等待webrtc-streamer的开源作者发布支持265的版本，要么就考虑自己转码成264来播放，我就属于后者。

软件环境

整体思路

  1. 将相机的rtsp流通过mediaMtx流媒体内置命令配置，将rtsp流使用ffmpeg进行转码推流到mediaMtx流媒体。
  2. 转码后使用mediaMtx进行拉流，可以使用webrtc-streamer播放，也可以使用vlc或者其他方式拉流播放。
  3. mediaMtx流媒体可以选择转码和不转码，可以选择mediaMtx作为流媒体进行统一流分发地址，集中管理。

详细方案

     下载mediaMtx

        目录结构如下： 

      配置mediamtx.yml

          打开mediamtx.yml进行配置，由于配置项比较多，我只截取关键配置：

        开启api，因为我们需要通过代码进行配置，因此需要开启mediaMtx的API

        api描述文档地址：MediaMTX API (bluenviron.github.io)

         关闭rtsp：rtspDisable：no   注意这里是关闭为no 就是开启的意思。其他端口根据情况自行           配置

         重点配置：

        如果我们不用api进行paths配置，可以在这里进行配置，如果使用了api进行配置，这里默认          留一个all就行了，all的意思是当路径找不到匹配的key时，则全部按all配置。

        我测试的时候使用这里配置，实际使用我使用api

        转码，当我们需要转码时，则需要配置runOnInit,这里配置需要转码的命令，即调用ffmpeg进         行转码的命令。

  •         配置runOnInit：程序启动加载转码
  •         配置runOnDemand：按需加载，则拉流时加载转码

我提供一个命令： "runOnInit": "ffmpeg -rtsp_transport tcp -i \"rtsp://admin:hik12345@192.168.1.12:554/h264/ch1/main/av_stream\" -vcodec libx264 -preset:v ultrafast -r 25 -threads 4  -b:v 4096k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH"

FFMPEG转码命令不做解释，自行百度，大致意思就是将一个rtsp流转码H264后输出新的rtsp流

 启动

API使用

代码层自行解决，我这里使用postman进行演示

查询所有路径：http://localhost:9997/v2/paths/list

 默认返回值为空，说明流媒体还没有配置通道路径。

添加一个名称为111的通道路径（不转码）

查看mediaMtx dos窗口：

 我这个环境有点丢包，正常可以看到【path 111】【rtsp source】 started 则说明流媒体拉流成功

 再次查询所有路径：不转码时 只关注source即可。

{
    "itemCount": 1,
    "pageCount": 1,
    "items": [
        {
            "name": "111",
            "confName": "111",
            "conf": {
                "source": "rtsp://admin:hik12345@192.168.1.14:554/h264/ch1/main/av_stream",
                "sourceFingerprint": "",
                "sourceOnDemand": false,
                "sourceOnDemandStartTimeout": "10s",
                "sourceOnDemandCloseAfter": "10s",
                "publishUser": "",
                "publishPass": "",
                "publishIPs": [],
                "readUser": "",
                "readPass": "",
                "readIPs": [],
                "disablePublisherOverride": false,
                "fallback": "",
                "sourceProtocol": "automatic",
                "sourceAnyPortEnable": false,
                "rtspRangeType": "",
                "rtspRangeStart": "",
                "sourceRedirect": "",
                "rpiCameraCamID": 0,
                "rpiCameraWidth": 1920,
                "rpiCameraHeight": 1080,
                "rpiCameraHFlip": false,
                "rpiCameraVFlip": false,
                "rpiCameraBrightness": 0,
                "rpiCameraContrast": 1,
                "rpiCameraSaturation": 1,
                "rpiCameraSharpness": 1,
                "rpiCameraExposure": "",
                "rpiCameraAWB": "",
                "rpiCameraDenoise": "",
                "rpiCameraShutter": 0,
                "rpiCameraMetering": "",
                "rpiCameraGain": 0,
                "rpiCameraEV": 0,
                "rpiCameraROI": "",
                "rpiCameraTuningFile": "",
                "rpiCameraMode": "",
                "rpiCameraFPS": 30,
                "rpiCameraIDRPeriod": 60,
                "rpiCameraBitrate": 1000000,
                "rpiCameraProfile": "main",
                "rpiCameraLevel": "4.1",
                "rpiCameraAfMode": "",
                "rpiCameraAfRange": "",
                "rpiCameraAfSpeed": "",
                "rpiCameraLensPosition": 0,
                "rpiCameraAfWindow": "",
                "rpiCameraTextOverlayEnable": false,
                "rpiCameraTextOverlay": "%Y-%m-%d %H:%M:%S - MediaMTX",
                "runOnInit": "",
                "runOnInitRestart": false,
                "runOnDemand": "",
                "runOnDemandRestart": false,
                "runOnDemandStartTimeout": "10s",
                "runOnDemandCloseAfter": "10s",
                "runOnReady": "",
                "runOnReadyRestart": false,
                "runOnRead": "",
                "runOnReadRestart": false
            },
            "source": {
                "type": "rtspSource",
                "id": ""
            },
            "sourceReady": false,
            "tracks": [],
            "bytesReceived": 0,
            "readers": []
        }
    ]
}

 此时，可以使用mediaMtx地址加路径name可以预览播放

 播放画面我就不展示了，不方便。

当使用vlc进行拉流时

dos下会有如下打印信息，mediaMtx会创建一个连接。 

 添加一个名称为222的通道路径（转码）

查询所有路径

{
    "itemCount": 1,
    "pageCount": 1,
    "items": [
        {
            "name": "222",
            "confName": "222",
            "conf": {
                "source": "publisher",
                "sourceFingerprint": "",
                "sourceOnDemand": false,
                "sourceOnDemandStartTimeout": "10s",
                "sourceOnDemandCloseAfter": "10s",
                "publishUser": "",
                "publishPass": "",
                "publishIPs": [],
                "readUser": "",
                "readPass": "",
                "readIPs": [],
                "disablePublisherOverride": false,
                "fallback": "",
                "sourceProtocol": "automatic",
                "sourceAnyPortEnable": false,
                "rtspRangeType": "",
                "rtspRangeStart": "",
                "sourceRedirect": "",
                "rpiCameraCamID": 0,
                "rpiCameraWidth": 1920,
                "rpiCameraHeight": 1080,
                "rpiCameraHFlip": false,
                "rpiCameraVFlip": false,
                "rpiCameraBrightness": 0,
                "rpiCameraContrast": 1,
                "rpiCameraSaturation": 1,
                "rpiCameraSharpness": 1,
                "rpiCameraExposure": "",
                "rpiCameraAWB": "",
                "rpiCameraDenoise": "",
                "rpiCameraShutter": 0,
                "rpiCameraMetering": "",
                "rpiCameraGain": 0,
                "rpiCameraEV": 0,
                "rpiCameraROI": "",
                "rpiCameraTuningFile": "",
                "rpiCameraMode": "",
                "rpiCameraFPS": 30,
                "rpiCameraIDRPeriod": 60,
                "rpiCameraBitrate": 1000000,
                "rpiCameraProfile": "main",
                "rpiCameraLevel": "4.1",
                "rpiCameraAfMode": "",
                "rpiCameraAfRange": "",
                "rpiCameraAfSpeed": "",
                "rpiCameraLensPosition": 0,
                "rpiCameraAfWindow": "",
                "rpiCameraTextOverlayEnable": false,
                "rpiCameraTextOverlay": "%Y-%m-%d %H:%M:%S - MediaMTX",
                "runOnInit": "ffmpeg -rtsp_transport tcp -i rtsp://admin:admin12345@192.168.1.164:554/h264/ch1/main/av_stream -vcodec libx264 -preset:v ultrafast -r 25 -threads 4 -b:v 4096k -f rtsp rtsp://localhost:$RTSP_PORT/$MTX_PATH",
                "runOnInitRestart": true,
                "runOnDemand": "",
                "runOnDemandRestart": false,
                "runOnDemandStartTimeout": "10s",
                "runOnDemandCloseAfter": "10s",
                "runOnReady": "",
                "runOnReadyRestart": false,
                "runOnRead": "",
                "runOnReadRestart": false
            },
            "source": null,
            "sourceReady": false,
            "tracks": [],
            "bytesReceived": 20054902,
            "readers": []
        }
    ]
}

mediaMtx DOS页面可以看到开始调用ffmpeg进行转码

至此 使用rtsp://192.168.1.227:8554/222，就可以预览了。

使用vlc可以进行预览，当然你使用webrtc-streamer 也是同理，只不过webrtc-streamer就不能直接使用相机的rtsp地址了。

这里有个细节忘记说了，ffmpeg需要配置环境变量，这里各位自行百度。否则mediaMtx使用命令无效。

吭哧瘪肚的万能工
关注
  • 10
    点赞
  • 踩
  • 35
    收藏
    觉得还不错? 一键收藏
  • 59
    评论
webrtc-streamer-v0.8.1-dirty-Windows-AMD64-Release.zip
01-26
webrtc-streamer-v0.8.1-dirty-Windows-AMD64-Release.zip
webrtc-streamer
04-18
vue2、vue3播放rtsp视频流
webrtc-streamer-card:可以从webrtc-streamer（RTSP，H264，H265 ...）流式传输零延迟视频的家庭辅助Lovelace卡
05-23
webrtc-流光卡 可以从webrtc-streamer（RTSP，H264，H265 ...）流式传输零延迟视频的家庭辅助Lovelace卡 您需要一个正在运行的Webrtc-streamer实例，有关更多详细信息和完整选项，请参见官方存储库： : webrtc-streamer基于live555 lib，因此它应该能够处理MPEG，H.265，H.264，H.263 +，DV或JPEG视频以及几种音频编解码器。 可以通过Docker运行最简单的方法docker run -p 8000:8000 -it mpromonet/webrtc-streamer 在您的家庭辅助www目录中克隆或解压缩此存储库。 自定义卡必须作为仪表板资源中的模块添加： resources: - url: /local/webrtc-streamer-card/webrtc-streame
探索WebRTC Streamer：实时通信的新境界
最新发布
gitblog_00083的博客
03-23 682
探索WebRTC Streamer：实时通信的新境界 项目地址:https://gitcode.com/mpromonet/webrtc-streamer 在这个数字化的时代，实时音视频通信已经成为日常生活和工作中不可或缺的一部分。今天，我们将深入探讨一个开源项目——WebRTC Streamer，它是一个基于WebRTC技术构建的强大工具，为用户提供了一种简单而高效的方式来实现实时流媒体传输。...
史上最详细的webrtc-streamer访问摄像机视频流教程
热门推荐
刘苏义的博客
03-31 3万+
最近公司在搞流媒体，我推荐了webrtc-streamer进行搭建，使用了一段时间后，出现新的需求，需要将内网的摄像机进行公网访问，我查询了几乎所有的帖子和github的问题回复，都没有给我一个准确的答案，经过不断尝试和摸索，我终于成功了，我希望将我的过程记录下来，让更多的中国开发者可以少走弯路，我对于webrtc不是很了解，但是这并不影响我使用开源的webrtc-streamer进行开发。
webrtc-streamer:用于V4L2捕获设备，RTSP源和屏幕捕获的WebRTC流媒体
04-05
WebRTC流媒体 WebRTC-streamer是一项使用简单机制通过WebRTC流式传输视频捕获设备和RTSP源的实验。 它嵌入了一个实现API的HTTP服务器，并提供了一个简单HTML页面，该页面通过AJAX使用它们。 WebRTC信令是通过HTTP请求实现的： / api / call：发送报价并获取答案 / api / hangup：关闭通话 / api / addIceCandidate：添加候选人 / api / getIceCandidate：获取候选人列表 可使用/ api / help获得HTTP API列表。 如今，在 ， ， 和上进行了构建： 适用于Ubuntu Bionic上的x86_64 适用于交叉编译的armv7（此版本在Raspberry Pi2和NanoPi NEO上运行） 适用于交叉编译的armv6 + vfp（此版本在Raspberr
《WebRTC系列》实战 Web 端支持 h265 硬解
irainsa的博客
04-07 3061
目前 datachannel + MSE 的方案已经上线，测试下来，线上同时硬解 16 路没有性能问题。后续会尝试用 webcodes 来进行 H.265 的解析，并处理音视频同步等问题。彻底解决掉延时的问题。下一篇准备写日常排查 WebRTC 问题的一些思路，也欢迎评论区聊一下日常遇到的一些问题，下篇一起汇总。《WebRTC系列》实战 Web 端支持 h265 硬解 - 掘金。
webRTC H265浏览器播放器+metaRTC推流实现webRTC H265解决方案
metaRTC的博客
09-02 4659
近期网友superxxd推出了webRTC H265浏览器播放器，补齐了webRTC H265解决方案中的短板。
webrtc支持H265(一）webrtc datachannel的特性
mo4776的博客
06-21 3993
但是这种缓存机制又无法优化，http-flv基于tcp协议，播放器的实现必然需要引入缓存来兼容tcp 协议流的特性，因为应用层无法预测什么时候有数据，数据有多少，所以必须有个缓存处理tcp协议上抛数据的抖动性，来保证播放的流畅。但是有这样一个问题：web 播放器通过http-flv拉h264或h265的流进行播放，有明显的延迟，即使在内网延迟也有2s，通过调试发现，主要是web播放器的缓存的机制导致。datachannel基于sctp协议，sctp协议是与udp，tcp同级的协议，属于传输层协议。
WebRTC[45] - WebRTC 支持 H265 视频流解码
liuzhen007的专栏
03-31 2761
目录 前言 正文 一、编译支持解码 H265 的 FFmpeg 的动态库 1.1 修改代码 1.2 常见问题 1.2.1报错：lld-link: error: undefined symbol: _ff_hevc_dsp_init_x86 1.2.2报错：lld-link: error: undefined symbol: _ff_hevc_idct_4x4_dc_8_mmxext 1.2.3报错：LLVM ERROR: out of m...
webrtc 支持H265(三) 总结
mo4776的博客
07-26 2170
有音频流最大的难点是要做音视频同步，也意味着web端不再只是单纯的解码，渲染，回放。在这样的场景中，视频流是单向的，码流从摄像头到ZLMediaKit到浏览器并且没有音频。关于延迟，对于webrtc datachannel通道的延迟我并没有专门进行测试，但是在后续的播放器整体测试时，webrtc datachannel通道并没有引入不可接受的延迟。浏览器通过ffmpeg软解码，对于分辨率大，码流大的情况或多路视频时，还是会出现性能不足的情况。浏览器已经可以支持对H265的硬解码，但是有浏览器的版本限制。
修改srs流媒体服务器使webrtc支持H265(HEVC)
metaRTC的博客
12-12 7693
谷歌不支持H265，所以支持webrtc的流媒体服务器也都不支持，SRS是国内外使用量最大的流媒体服务器也不支持，怎么办？我们可以修改它使其支持。
webrtc基于webrtc-streamer推流实现直播
02-02
webrtc基于webrtc-streamer推流实现直播，前端基于vue3实现，下载可用
h265:web端h265软解播放
05-17
rtsp h256 流 web 软解播放 本项目地址 修改自项目 介绍 主流摄像头都支持rtsp协议推流,h264视频流可以通过 webrtc 解码后喂给 h5 的 video 标签进行播放 h265 视频流在web端无法进行解码播放,如果在服务器端进行解码后将图片信息推给前端除了会给后端带来巨大的cpu压力同时会导致传输信息巨大产生延迟 本项目目的是在 web 端软解 h265 视频流并播放 一般web端使用视频展示无音频需求所以可以免去音频解码和音视频对齐 构思 通过搜索相关文章以及开源项目最终决定:后端取到 h265 裸流进行处理之后 websocket 实时推送web端, web 端通过 ffmpeg 使用 webassembly + worker 在浏览器端软解最终使用 canvas 展现实时监控 实现细节 h265软解非常消耗cpu如果单线程进行软解如果解析速度不够要么丢包要么
webrtc-streamer实现网络摄像头实时监控
04-19
1、win7到win11都试过了，都可以。win11使用webrtc-streamer-v0.7.2（支持性比较好）。 2、打开30个延时在1s左右。 3、不要双击启动exe文件。有窗口和无窗口的bat文件已经写好了，文件在webrtc下。 4、运行之后，改一下html的rtsp流。 5、支持所有浏览器，不需要插件。
webrtc-streamer0.7的ubuntu18.04版本
11-08
webrtc-streamer在国内编译相当困难，这里是本人花了一周时间编译完成的webrtc-streamer最新版本，可在ubuntu18.04及以上版本中使用，如果提示libstdc++版本过低，请升级系统的libstdc++。
webrtc-streamer 是一个使用简单机制通过 WebRTC 流式传输视频捕获设备和 RTSP 源的项目
06-07
webrtc-streamer 是一个使用简单机制通过 WebRTC 流式传输视频捕获设备和 RTSP 源的项目，它内置了一个小型的 HTTP server 来对 WebRTC需要的相关接口提供支持。相对于ffmpeg+flv.js的方案，延迟降低到了0.4秒左右，...
使用webrtc-streamer查看实时监控
nov4th的博客
08-19 1万+
使用webrtc-streamer查看实时监控webrtc-streamerwebrtc-streamer下载测试 webrtc-streamer webrtc-streamer 是一个使用简单机制通过 WebRTC 流式传输视频捕获设备和 RTSP 源的项目，它内置了一个小型的 HTTP server 来对 WebRTC需要的相关接口提供支持。相对于ffmpeg+flv.js的方案，延迟降低到了0.4秒左右，画面的加载速度也变快了，切换浏览器标签后也不会暂停画面，并且解决了http1.1的同域名中的并发限
webrtc-streamer h265
09-01
webrtc-streamer是一个用于实时音视频流传输的开源框架，而H265是一种高效的视频压缩编码标准。 在webrtc-streamer中，可以使用H265编码格式来实现更高效的视频传输。H265（也称为HEVC）相比于传统的H264编码标准，具有更优秀的压缩能力和更低的码率消耗。这意味着在使用webrtc-streamer进行音视频传输时，使用H265编码可以节省更多的带宽和网络资源。 使用webrtc-streamer进行H265编码的传输，可以在保持高质量的同时，降低传输过程中的延迟和网络占用。这对于需要进行实时音视频传输的应用场景非常有帮助，例如视频会议、实时监控等。 此外，H265编码还支持更多的功能和特性，如更好的抗错误能力、更高的视频质量和更低的功耗消耗。因此，在webrtc-streamer中使用H265编码可以提供更好的用户体验，并节省更多的资源。 综上所述，webrtc-streamer与H265编码的结合可以实现更高效、更优质的实时音视频传输，为用户提供更好的体验和更低的资源消耗。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 59
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值