从ffmpeg的AVFrame得到iOS的CVPixelBuffer

最新推荐文章于 2023-03-06 17:08:40 发布
最新推荐文章于 2023-03-06 17:08:40 发布
阅读量9.2k 收藏 7
点赞数 7
分类专栏： iOS音视频开发 文章标签： ffmpeg 视频 AVSampleBufferDispla 渲染
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fernandowei/article/details/52180840
版权

个人在之前的一篇文章《在iOS端使用AVSampleBufferDisplayLayer进行视频渲染》中提到，可以使用iOS8.0新出的AVSampleBufferDisplayLayer进行视频的渲染，那么如果这个时候解码使用的是ffmpeg，解码后得到的是AVFrame，就需要把AVFrame转成CVPixelbuffer在送给AVSampleBufferDisplayLayer渲染。

如何进行转化呢？如下：

- (void)dispatchAVFrame:(AVFrame*) frame{
    if(!frame || !frame->data[0]){
        return;
    }

    CVReturn theError;
    if (!self.pixelBuff
最低0.47元/天 解锁文章
fernandowei
关注
专栏目录
【FFmpeg】AVFrame及相关函数详解
郭老二
05-03 1478
1、AVFrame结构体 【FFmpeg】结构体详解（一）：AVCodec、AVCodecContext、AVCodecParserContext、AVFrame、AVFormatContext 、AVIOContext AVFrame 存储原始数据（YUV、RGB、PCM等）。 AVFrame结构体一般用于存储原始数据（即非压缩数据，例如对视频来说是YUV，RGB，对音频来说是PCM），此外还包含了一些相关的信息。比如说，解码的时候存储了宏块类型表，QP表，运动矢量表等数据。编码的时候也存储了相关的数据。
FFmpeg —— 缩放AVFrame尺寸
wx微信公众号“码农总动员”，获取更多编程知识
10-13 442
AVFrame      AVframe介绍   相关对象      像素格式           AVPixelFormat      编解码上下文           AVCodecContext      尺寸格式上下文           SwsContext      视频图片           AVPicture      音视频帧           AVFrame       相关函数      创建图像帧           av_frame_alloc      创建图片       
31.FFmpeg学习笔记 - iOS上解码视频并播放（暂无声音）
周洪伟的博客
07-22 585
本文目标：输入一个视频文件，然后播放视频画面(暂时不播放声音)。 主要结合前面写的几篇文章，进行播放： 15.FFmpeg学习笔记 - 解复用和解码(新的解码API) 27.FFmpeg学习笔记 - 用libswscale转换原始视频格式 10.OpenGL学习笔记 - 在iOS上播放YUV 程序流程是：先解码，然后将视频格式转换为YUV420P格式，最后用OpenGL在iOS上播放出来...
【滤镜】CVPixelBufferRef处理成黑屏帧
allanGold
01-22 2178
注意点： 1、processFrame:方法中 resultPixelBuffer避免内存暴涨的写法 @interface VideoProcessingManager () @property (nonatomic, strong) MFPixelBufferHelper *pixelBufferHelper; @property (nonatomic, assign) CVPixelBufferRef resultPixelBuffer; @end @implementation Vid.
YUV420格式的CVPixelBuffer转换为RGB格式
irainsa的博客
03-06 393
ARKit中提取到的CVPixelBuffer为YUV420格式，很多时候我们需要把它转换为RGB格式，然后再进行各种后续操作。
iOS CVPixelBufferRef深入解析及视频渲染方法
程序猿老樊的博客
03-30 4394
CVPixelBufferRef：是一种像素图片类型，由于CV开头，所以它是属于 CoreVideo 模块的。CVPixelBufferRef是Core Video框架中定义的一个类型，代表视频帧的像素数据。它不仅包含了原始图像数据，还包含了图像的格式、尺寸以及每个像素的布局信息。通过操作`CVPixelBufferRef`，开发者可以对视频帧进行读取、修改和渲染等操作。
创建一个RGB的CVPixelBufferRef
123456789
06-14 3529
iOS的编码器仅仅支持CVPixelBufferRef的输入，常规的做法是从编码器Session的PixelBufferPool拿到一个CVPixelBufferRef，不过它的格式NV12(kCVPixelFormatType_420YpCbCr8BiPlanarFullRange或者kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange)这两种形式。我们...
三、AVFrame渲染
weixin_45093118的博客
03-13 800
目标： AVFrame结构体的成员含义 AVFrame的内存分析：引用计数与字节对齐 将文件中YUV数据存储到AVFrame中，并将AVFrame中的YUV渲染出来 帧率的控制策略方式、精确控制的方式 通过多线程控制渲染 界面上设置并显示fps的方法。 1. AVFrame结构体和相关接口 1.1 AVFrame基本介绍 AVFrame结构体 结构体成员 uint8_t *data[AV_NUM_DATA_POINTERS]; AV_NUM_DATA_POINTERS的数值为8 实际上data中存放着
ffmpeg avframe to jpeg
07-06
当从视频流中解码出一帧时，通常会得到一个`AVFrame`对象，我们可以从中提取图像数据。 要将`avframe`转换为JPEG，我们需要完成以下几个步骤： 1. **设置输出文件**：创建一个JPEG编码器上下文（`AVCodecContext`...
ffmpeg-0.8.6.tar.gz_ffmpeg 0.8_ffmpeg ios_ffmpeg 编译_ios ffmpeg
07-14
FFMpeg源代码，其中有直接编译成ios使用的配置文件，直接运行即可编译
转换CMSampleBuffer 的数据流为ffmpeg 的AVPicture
weixin_34026276的博客
07-17 205
在AVCaptureVideoDataOutputSampleBufferDelegate协议方法中:- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnectio...
iOS利用FFmpeg实现Video硬解码
weixin_34396103的博客
06-19 1213
需求 将编码的视频流解码为原始视频数据,编码视频流可以来自网络流或文件,解码后即可渲染到屏幕. 实现原理 正如我们所知,编码数据仅用于传输,无法直接渲染到屏幕上,所以这里利用FFmpeg解析文件中的编码的视频流,并将压缩视频数据(h264/h265)解码为指定格式(yuv,RGB)的视频原始数据,以渲染到屏幕上. 注意: 本例主要为解码,需要借助FFmpeg搭建模块,视频解析模块,渲染模块,这些...
音视频入门（学习ffmpeg tutorial之 iOS音频解码与播放）
arceushs的专栏
12-18 455
隔了好久好久。。。。,其实ffmpeg是有专门的教程的，只是其中很多内容过期了，我这里也只是当作一个学习的过程，然后记录下来。音视频开发需要具备的知识点如下（从他人处copy过来的） rtsp、sdp、tcp、udp、ip协议（rtsp的DESCRIBE、OPTION、SETUP、PLAY、PAUSE、TEARDOWN；tcp连接的三次握手／断开的四次握手） socket 多线程 opengl ...
39.FFmpeg学习笔记 - iOS硬编码视频到h264
周洪伟的博客
08-14 3040
一、概述 硬编码使用场景通常是从摄像头采集图像数据，然后利用系统提供的接口进行硬编码。 从摄像头采集数据用的是AVFoundation框架，硬编码用的是iOS 8开放的VideoToolbox框架。 二、用AVFoundation采集数据 用AVFoundation采集摄像头的数据步骤基本固定，下面详细说一说： 1.初始化会话，并设置摄像头采集图像的分辨率 //初始化会话 ...
CGImage 直接到 CVPixelBuffer
热门推荐
Tommy(凌飞)的专栏
01-23 1万+
从image到CVPixelBuffer需要注意性能，如果使用context的话和使用memcpy都有一样的性能支出，但是使用CVPixelBufferCreateWithBytes这个可以在时间上提高好几个数量级别，这是因为这里没有渲染也没有内存拷贝能耗时的操作而只是将data的指针进行了修改哦。 - (CVPixelBufferRef)pixelBufferFaster{
ios视频处理中CPU和GPU的高效连接桥梁——共享内存（CVPixelBufferRef）
CMSHAO的专栏
04-24 6700
    iphone的cpu对于处理视频来说能力是非常有限的，所以在ios开发中，如果要进行视频处理，比如滤镜、美颜等，都会用到设备的GPU能力，也就是会用到opengl es的api，而CPU和GPU之间的数据传递效率十分低下，尤其是从GPU回传数据到CPU，更是缓慢。如用glReadPixels从GPU读取数据，如果用这种模式，想要做到实时很难。鉴于此，今天主要介绍一下ios中GPU和CPU的...
libyuv NV12裁剪
阿洋的博客
11-15 1814
由于简书经常打不开，或者打开慢，不靠谱，还是把文章迁移到CSDN吧。 简书链接：https://www.jianshu.com/p/8c6508cab763 有时候想对摄像头采集的视频流进行区域裁剪，可以使用libyuv这个库，原理就是先把NV12转换为i420，对i420做裁剪，然后再把i420转换为NV12，NV12再转换为CVPixelBufferRef，CVPixelBufferRef再转...
AVFrame数据转RGB或YUV
nogodoss的专栏
05-30 1万+
使用ffmepg解码视频一般都是sheng'c
ffmpeg AVFrame
最新发布
09-04
AVFrame是FFmpeg中的一个结构体，用于表示视频帧的数据。它包含了视频帧的像素数据、宽度、高度、格式等信息。在使用AVFrame之前，需要先分配内存，并设置其各个字段的值。可以使用av_frame_alloc()函数来分配AVFrame实例，并使用av_frame_get_buffer()或av_image_alloc()函数来分配像素数据的内存。其中av_frame_get_buffer()函数会自动选择最优的对齐方式来分配内存，而av_image_alloc()函数可以指定像素数据的对齐方式。通过设置AVFrame的width、height和format字段，可以指定视频帧的宽度、高度和像素格式。总之，AVFrame是用于存储和处理视频帧数据的关键结构体。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [FFmpeg数据结构AVFrame](https://blog.csdn.net/irainsa/article/details/128977176)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [FFMPEG关键结构体——AVFrame](https://blog.csdn.net/PPPPPPPKD/article/details/125586279)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值