WebRTC系列--WebRTC音频支持RedFEC的修改

已于 2023-07-31 10:55:16 修改
阅读量2.4k 收藏
点赞数
分类专栏： WebRTC进阶 文章标签： webrtc
于 2023-07-14 08:57:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lym594887256/article/details/131390297
版权
本文详细探讨了WebRTC中音频RedFEC的实现，涵盖了从offer中sdp的red配置，到编码端的编码缓存数据和RED协议应用，再到解码端的处理流程。在编码端，讲解了如何在不同阶段添加RED编码，而在解码端，重点在于验证PT值和解码数据的处理。通过对协议的解析，展示了RED冗余编码的工作原理。
摘要由CSDN通过智能技术生成

文章目录


WebRTC在最新的代码中对opus的编码的包，默认使用red的方式进行一次冗余处理；冗余包在解码端的处理在其他版本中都有支持；这篇文章讲分两部分，即：编码端添加冗余，解码端解冗余；两大章节分析；
在开始分析前，需要熟悉WebRTC中的 WebRTC系列-SDP之CreateOffer、 WebRTC系列-SDP之setLocalDescription(1)和 WebRTC系列-SDP之CreateAnswer，以及其中neteq中的一些处理流程的系列文章 WebRTC系列-Qos系列之NetEQ-NetEqImpl等；

1. FEC流程综述

1.1 offer中sdp的red

在offer流程中的We

了解本专栏 订阅专栏 解锁全文 超级会员免费看
简简单单lym
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
音频弱网优化Red
lcalqf的专栏
05-04 921
目录 1、音频弱网优化的主要方法 2、red 包格式 3、audio red 封装逻辑 4、audio red 的解析 1、音频弱网优化的主要方法 业界常用的音频抗丢包算法和相互对比，本文主要介绍的 red 方式 2、red 包格式 音频 red的协议见 ：RFC 2198 - RTP Payload for Redundant Audio Data 具体的格式如下 0 1 2 .
WebRTC系列--opus带内FEC和red效果
HOSTEN的博客
05-31 470
要使用RED，更改编解码器的顺序，使它在Opus编解码器之前。当你在相对较小的50kbps的Opus流旁边发送几百千比特的视频时，基于拥塞的Opus音频的FEC策略没有太多意义。在重度数据包丢失的情况下，LBRR使用的比特率最高可达10kbps（或数据速率的三分之二）。SILK的LBRR，也就是低比特率冗余，也包含在Opus中（记住Opus是一个混合编解码器，它在比特率谱的低端使用SILK）。然而，Opus中的SILK与Skype早年开源的原始SILK相当不同，用于前向错误纠正模式的LBRR部分也是如此。
WebRTC 之 RED
温故而知新
09-01 635
Abstract WebRTC RED 笔记 Authors Walter Fan Category learning note Status v1.0 Updated 2020-08-28 License CC-BY-NC-ND 4.0 什么是 RED RED 即 REDundant coding 冗余编码，它是一种 RTP 荷载格式的规范，用来编码冗余的音频...
WebRTC Native M96音频基础知识介绍--使用Opus
一蓑烟雨任平生 也无风雨也无晴
04-26 3856
声波 声音是振动产生的声波，通过介质（气体、固体、液体）传播并能被人或动物听觉器官所感知的波动现象。 声音的特性可由三个要素来描述，即响度、音调和音色 音频（音调） 音调就是音频。物理学中用每秒内振动的次数–频率来描述物体振动的快慢。物体振动的快（即频率高）则音调高，物体振动的慢（及频率低）则音调低。 声音的频率一般会以赫兹表示，记为Hz，指每秒钟周期性震动的次数 音量（响度） 响度就是声音的大小强弱。取决于物体振动的幅度 分贝是用来表示声音强度的单位，记为dB。 数字音频 数字音频是指使用脉冲编码调制、.
webrtc中的FEC配置
chinabinlang的专栏
06-11 3622
void VideoSendStreamImpl::ConfigureProtection() { RTC_DCHECK_RUN_ON(worker_queue_); // Consistency of FlexFEC parameters is checked in MaybeCreateFlexfecSender. const bool flexfec_enabled = (f...
WebRTC音频系统 音频发送和接收
liveweb视频汇聚平台
10-13 506
一个完整的音频发送涉及到音频采集、音频增强、混音、音频格式（采样率、声道数）以及编解码和RTP封包以及网络发送环节，在这一过程中WebRTC为了结构上清晰且解耦，对每一层进行了抽象，由于采集端数据是源源不断的，因而数据采集有一个单独的线程实现。3.1音频数据流发送流程音频发送流程涉及到的模块如下图所示图3-1 WebRTC 音频发送数据流3.2 发送中的编码、RTP打包。
webrtc基于webrtc-streamer推流实现直播
02-02
在"webrtc-streamer"中，主要作用是将来自WebRTC的流转换为其他格式，如HTTP或RTSP，这样就可以通过标准协议推送到各种平台，如流媒体服务器，或者供其他不支持WebRTC的客户端使用。它通常用作一个中间层，接收来自...
webrtc-streamer-v0.8.1
11-16
【标签】"webrtc" 明确地指出这个项目的核心技术是WebRTC，这是一种由谷歌发起并被W3C和IETF标准化的技术，用于实现浏览器之间的实时音频、视频和数据共享。WebRTC 支持P2P（点对点）通信，减少了服务器的负载，并且...
webrtc-streamer-v0.8.1-dirty-Windows-AMD64-Release.zip
01-26
4. **库文件**：可能包括WebRTC库和其他依赖库，用于支持WebRTC-Streamer的正常运行。 5. **文档**：如README、LICENSE等，提供了项目的基本信息、使用指南和授权条款。 6. **示例**：可能包含HTML页面和JavaScript...
webrtc-streamer
最新发布
05-22
WebRTC-streamer支持多种输入源，包括本地摄像头、网络RTSP流或其他WebRTC兼容的源。 为了使用WebRTC-streamer，你需要了解以下关键技术点： 1. **SDP（Session Description Protocol）**：用于描述媒体会话，包括...
WebRTC M96 Release Notes(SDP废除Plan B，支持Opus Red冗余编码)
一蓑烟雨任平生 也无风雨也无晴
02-13 2753
https://groups.google.com/g/discuss-webrtc/c/Bp8OzBzipSc 切换到M96分支 git checkout branch-heads/4664 PSAs Plan B和Unified Plan Plan B是Chrome/Chromium独有的实现，Safari和Firefox一直支持Unified Plan，Chrome在M72已经支持Unified Plan。从某种程度上说如果后续再开发WebRTC可以不考虑Plan B的支持了，因为Unified
WebRTC系列--FEC介绍
HOSTEN的博客
06-20 1101
RedFEC (Reduced-Complexity Forward Error Correction) 是一种前向纠错协议，定义在RFC2189中，它旨在通过向数据流中添加冗余信息来提高数据传输的可靠性；RedFEC通过在发送端对数据进行冗余编码，并在接收端使用冗余数据进行纠错来抵抗数据包丢失或错误。在规范中即定义了打包的格式，及如何通过RedFEC生成冗余包来对原始数据进行保护；异或的规则：两个值不相等则为 1，相等则为 0；当两个输入位相同时，异或结果为0。
音视频 RED 与 FEC 的 RTP 格式封装
m0_60259116的博客
12-02 1033
音视频 RED 与 FEC 的 RTP 格式封装
流媒体弱网优化之路(mediasoup)——上行引入RED编码
qw225967的博客
10-08 1245
在mediasoup上行中引入了RED编码来抵抗音频丢包造成的质量下降，将RED解码部分放置于Consumer中，实现尾端解码。
WebRTC中的SDP
yinshipin007的博客
03-06 980
ssrc不同的媒体流可以有相同的cname，表示他们属于同一个媒体流（比如，重传流的cname就和原始流的相同）。其中，Plan B是由标准SDP演化而来的，而Unified Plan是用来代替Plan B的新规格。★文末名片可以免费领取音视频开发学习资料，内容包括（FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）以及音视频学习路线图等等。//在webrtc中，重传包和正常包ssrc是不一样的，上一行中前一个是正常rtp包的ssrc,后一个是重传包的ssrc。
WebRTC ULPFEC
椛茶的博客
11-07 1711
网络中传输实时音视频数据通常使用 UDP，由于传输中存在丢包的问题可能使听到的声音有断续或者看到的视频卡顿，针对弱网场景可以通过添加适当的冗余包来对抗丢包引起的卡顿问题。FEC 基本原理是通过原始数据生成一定的冗余数据，如果原始数据在传输过程中有丢失，接收端也可以通过冗余数据恢复原始数据。本文介绍 ULPFEC 的基础理论，报文格式，并介绍 WebRTC ULPFEC 相关的源码实现。
WebRTC视音频处理特点总结
程序猿老樊的博客
01-31 1411
WebRTC功能强大，集成了能分别处理音视频的API功能模块。并对音视频处理过程中的多种问题进行了集成优化，使得开发者可以更好地使用各种功能！ 一、视频处理 WebRTC的视频部分，包含采集、编解码(I420/VP8)、加密、媒体文件、图像处理、显示、网络传输与流控(RTP/RTCP)等功能。 视频采集---video_capture ...
WebRTC 音频抗弱网技术（上）
weixin_44764152的博客
07-06 950
人均社恐，钟爱语聊。以语聊房为代表的语音社交产品解锁陌生人社交新方式，也不断讲述着新的出圈故事。关注【融云全球互联网通信云】了解更多而声音卡顿、断断续续、快进、慢放等现象会严重影响用户体验，直接导致用户离开，这些都是弱网引起的常见问题。本文主要从音频应用的角度来分析常用的弱网对抗技术，主要有如下几种：前向纠错技术（FEC、RED 等）后向纠错技术（ARQ、PLC 等）编码器抗弱网特性（本文重点关注 OPUS 编码器的特性）抗抖动技术（JitterBuffer）我们将用上、下两篇文章，结合 WebRTC 中使
webrtc-qt-example
07-16
WebRTC是一种开源的实时通信技术，能够支持音频、视频和数据的实时传输。它通过浏览器之间的端对端连接，实现了高质量的实时通信。 webrtc-qt-example的目的是展示如何使用Qt进行WebRTC开发。Qt是一套跨平台的C++...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

简简单单lym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值