webrtc (6) 在Webrtc中集成VideoToolbox

最新推荐文章于 2022-10-09 17:46:01 发布
最新推荐文章于 2022-10-09 17:46:01 发布
阅读量6.5k 收藏 1
点赞数 1
分类专栏： webrtc iOS VideoToolbox video 文章标签： VideoToolbox H264 硬件编码 Hardware H.264 iOS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangruihit/article/details/46550853
版权
本文介绍了如何在iOS平台利用VideoToolbox Framework集成硬件H264编解码功能，涉及I420与NV12格式转换、AVCC到Annex-B的数据格式转换、关键帧检测、PTS处理以及使用PixelBufferPool提升性能。参考了WWDC视频、OpenWebRTC代码和StackOverflow帖子，适合iOS开发者了解硬件编码技术。
摘要由CSDN通过智能技术生成

VideoToolbox是iOS平台在iOS8之后开放的一个Framework，提供了在iOS平台利用硬件实现H264编解码的能力。


这套接口的合成主要我一个人参与，花费了四五天的时间，中间主要参考了WWDC 2014  513关于hardware codec的视频教程，

OpenWebrtc的vtenc/vtdec模块，

chromium的一部分代码

https://src.chromium.org/svn/trunk/src/content/common/gpu/media/vt_video_decode_accelerator.cc，

https://chromium.googlesource.com/chromium/src/media/+/cea1808de66191f7f1eb48b5579e602c0c781146/cast/sender/h264_vt_encoder.cc

还有stackoverflow的一些帖子，如 

http://stackoverflow.com/questions/29525000/how-to-use-videotoolbox-to-decompress-h-264-video-stream 

http://stackoverflow.com/questions/24884827/possible-locations-for-sequence-picture-parameter-sets-for-h-264-stream

另外还有apple forum的帖子如：

https://devforums.apple.com/message/1063536#1063536


中间需要注意的是，

1，YUV数据格式

Webrtc传递给Encoder的是数据是I420，对应VT里的kCVPixelFormatType_420YpCbCr8Planar，如果VT使用

kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange格式（即NV12），那么需要将I420转换为NV12再进行编码。转换可使用libyuv库。

I420格式有3个Planar，分别存放YUV数据࿰

最低0.47元/天 解锁文章
wangruihit
关注
专栏目录
Webrtc支持FFMPEG硬解码之解码实现（三）
qq_15821883的博客
06-13 506
Webrtc支持FFMPEG硬解码之Intel（一）-CSDN博客Webrtc支持FFMPEG硬解码之NVIDA（二）-CSDN博客Webrtc支持FFMPEG硬解码之解码实现AMD硬解目前还没找到可用解码器，欢迎留言交流以对于编码器，FFMMPEG里面搜索编码器的名称，即可找到，例如“h264_qsv”encoder, 参见：qsvenc_h264.c对于解码器，FFMPEG采用了宏定义方式实现，例如：“h264_qsv” decoder，参见qsvdec.c文件​。
WebRTC[35]-WebRTC之MediaCodec
liuzhen007的专栏
09-20 479
目录 前言 正文 C层和Java层的方法映射关系 处理 SDP 信息 准备视频编码参数 开始视频编码 结尾 PS:《WebRTC工作原理精讲》系列-总览 前言 WebRTC为了实现在 Android 端的硬编硬解功能，引入了 MediaCodec 模块。对比 iOS 端的VideoToolbox 和 AudioToolsbox，今天，我们先了解一下 Android 端的硬编硬解模块MediaCodec。 正文 WebRTC 最新的版本默认都是硬编软解，为了保证兼容性，限制了...
WebRTC视频数据流程分析
LiveVideoStack
09-10 1356
本文来自《WebRTC Native开发实战》书籍作者许建林在LiveVideoStack线上分享中的内容，详细分析总结 WebRTC 的视频数据流程，并对大型项目如何快速上手：分析方法...
WebRTC音视频通话（三）整合websocket
最新发布
m0_60259116的博客
10-09 1205
WebRTC音视频通话（三）整合websocket
RTC toolbox学习记录
qq_32209209的博客
04-07 486
f = rtccurve([[0 2 2]], [[0 0 1];[2 2 0.25]], 3, 10, 5, 4); rtcplot(f, 20); 两部分曲线，一部分为非周期曲线，从（0，0）开始，斜率为1； 另一部分曲线为周期曲线，周期为5，offset=4，从（3，10）开始。 offset：可以明确指出周期性部分的两个连续重复之间的Y轴偏移。 ...
基于iOS的网络音视频实时传输系统(H264+pcm+videoToolbox)无第三方实现
04-11
基于iOS的网络音视频实时传输系统(H264+pcm+videoToolbox)无第三方实现 tcp 局域网 编解码 音视频 https://blog.csdn.net/github_35041937/article/details/89192781
深入浅出 WebRTC AEC（声学回声消除）
我的博客
08-21 5706
回声的形成 WebRTC 架构中上下行音频信号处理流程如图 1，音频 3A 主要集中在上行的发送端对发送信号依次进行回声消除、降噪以及音量均衡（这里只讨论 AEC 的处理流程，如果是 AECM 的处理流程 ANS 会前置），AGC 会作为压限器作用在接收端对即将播放的音频信号进行限幅。 那么回声是怎么形成的呢？ 如图 2 所示，A、B 两人在通信的过程中，我们有如下定义： x(n): 远端参考信号，即 A 端订阅的 B 端音频流，通常作为参考信号； y(n): 回声信号，即扬声器播放信号 x(n) 后，被
WebRTC系列-H.264预估码率计算
HOSTEN的博客
07-05 735
WebRTC源码中对视频的编码数据最终处理都是I420数据，由此可知一帧未编码的数据的大小是： width x height x 1.5 这里的单位是字节，例如：6404801.5 = 460,800Byte ; (VBR下)一般的压缩比一般能达到1：50甚至1：100以上，按照640 480 @ 15fps的计算：一般的影响评估码率的因素主要有以下几种：根据不同的典型应用业务场景，常见的码率限制要求(码率控制的模式)，大致总结为以下几种类型: 使用的VideoToolBox框架只支持ABR模式。设置
webRTC中回声消除（AEC）模块的编译与测试
李江龙的博客
06-08 5712
整体过程同webRTC降噪（NS）、自动增益控制（AGC）模块的编译与测试一样，只是在aec_rdft.c文件中可能会报错，局部变量ip跟全局变量冲突的问题，可以将局部变量重新命名一下，就可以通过编译了。修改后的代码如下/* * http://www.kurims.kyoto-u.ac.jp/~ooura/fft.html * Copyright Takuya OOURA, 1996-2001...
webrtc 的回声抵消(aec、aecm)算法简介
热门推荐
u012931018的专栏
11-30 1万+
webrtc 的回声抵消(aec、aecm)算法简介      webrtc 的回声抵消(aec、aecm)算法主要包括以下几个重要模块：1.回声时延估计 2.NLMS(归一化最小均方自适应算法) 3.NLP（非线性滤波） 4.CNG(舒适噪声产生），一般经典aec算法还应包括双端检测(DT)。考虑到webrtc使用的NLMS、NLP和CNG都属于经典算法范畴，故只做简略介绍，本文重点介绍web
WebRTC android h264 编解码适配（三）
m370809968的专栏
08-23 2367
最近升级webrtc（m72版本），发现webrtc源码发生了不小的变动，尤其是在视频编解码这块，之前的MediaCodecVideoEncoder,MediaCodecVideoDecoder已经不再使用了，改成HardwareVideoDecoderFactory,HardwareVideoEncoderFactory了，创建编解码器也交给了上层去创建了，下面是创建编解码器的代码： ...
Webrtc创建Android端编码器流程
cffishappy的专栏
02-26 1996
1.根据info创建对应的硬软编码器（vp8还是H264），优先选择硬编码 public VideoEncoder createEncoder(VideoCodecInfo info) { final VideoEncoder softwareEncoder = softwareVideoEncoderFactory.createEncoder(info); final VideoEncoder hardwareEncoder = hardwareVideoEncoderFactory.cr
ios视频实现H264硬编码和软编码编译ffmpeg库及环境搭建(附完整demo)
weixin_34004750的博客
06-03 1289
概述 上篇文章我们学习了视频的相关概念及h264编解码的流程，这篇文章我们主要是做代码实现，其内容概要如下： 利用VideoToolBox对实时视频做h264硬编码 ffmpeg 在mac平台安装ffmpeg 简单常用的ffmpeg命令 如何在mac平台编译出ios开发所用的ffmpeg库以及环境搭建 简单介绍ffmpeg库 利用ffmpeg对实时视频做h264软编码 示例代码： h2...
videowriter最小的编码格式_大家有用AVAssetWriter 做过h264编码的吗？求指点~
weixin_39610956的博客
12-19 280
RT，手头做的项目要求实时性比较高的视频通话。iOS端的视频压缩用的是AVAssetWriter硬编码，写入视频文件之后再读出视频数据，最后发送的方案。考虑到编解码速度不能太慢，采用的是h264 baseline。没有双向预测编码，也就是说没有B帧。但是创建AVAssetWriter的时候蛋疼了，allowFrameReordering 怎么也没法设成NO。代码如下：NSDictionary* s...
WebRTC56版本SDP详细解析
chinabinlang的专栏
01-24 1万+
http://blog.csdn.net/onlycoder_net/article/details/76702432 v=0 //sdp版本号，一直为0,rfc4566规定 o=- 7017624586836067756 2 IN IP4 127.0.0.1 // RFC 4566 o=<username> <sess-id> <sess-versio...
webrtc中的h264解析
chinabinlang的专栏
09-28 1812
H264的码流解析，网上有很多开源文件；一般的解析有： 获取NALU，sps，pps，NALU type，slice type，获取Qp等；可以通过C++的位运算实现获取计算，但是一般可以定义结构体直接获取；这里要说的是webrtc中的H264解析相关：在webrtc中，关于H264的相关源码文件在：webrtc58\src\webrtc\common_video\h264中；都包含了很好的函数：...
vue集成腾讯实时音视频TRTC Web SDK
gogogodeng的专栏
03-30 6719
vue项目中需要用到实时音视频方案
iOS视频开发（二）：视频H264硬编码
阿福的专栏
08-25 2082
前言 系列文章：《iOS视频开发（一）：视频采集》《iOS视频开发（二）：视频H264硬编码》《iOS视频开发（三）：视频H264硬解码》《iOS视频开发（四）：通俗理解YUV数据》 上一篇《iOS视频开发（一）：视频采集》我们已经介绍了如何采集iOS摄像头的视频数据，采集到的原始视频数据量是比较大的，这么大的数据量不利于进行储存或网络传输。于是我们需要对视频数据进行压缩，就像你要向别人传文件时觉得文件太大了，打个rar压缩包再发给对方的道理一样。视频数据的压缩也叫做编码，H264是一种视频编码格式，i
快速构建WebRTC平台：集成开发实战指南
在WebRTC集成开发过程中，你需要了解以下关键知识点： 1. **WebRTC架构**：WebRTC系统由三个主要组件构成：浏览器端的 getUserMedia API（用于访问用户的媒体输入设备，如摄像头和麦克风），RTCPeerConnection API...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值