使用GPU加速H.264编码分析

最新推荐文章于 2024-03-19 23:00:00 发布
最新推荐文章于 2024-03-19 23:00:00 发布
阅读量1.1w 收藏 4
点赞数 2
分类专栏： GPU

继前面的“GPGPU”和“CUDA和OpenCL”的简介后，接下来分析一个具体的使用案例：是否可以用GPU搭建一个高性能的H.264编解码服务器？

设想一个简单的需求：

  1. 把其他编码的视频转换为指定码率的H.264；
  2. 在转换过程中做一些简单的处理（例如增删水印、字幕的处理、声音的处理等）；
  3. 需要封装成指定的一种container格式，比如mp4或mkv。

 

ffmpeg完成此项工作的大概过程是：

  1. 识别文件格式，打开视频文件容器，得到video_stream；
  2. 使用libavcodec把video_stream解码成原始的frame数据；
  3. 在frame的基础上做“需求2”的处理；
  4. 编码成H.264格式；
  5. 存放到指定格式的容器中（mp4或者mkv）。

“过程1”应该是一个轻量操作，且对于现有视频格式速度应该很快（播放器看片的时候不可能先等上几秒分析一把格式再开始播放吧？）。

“过程2”需要把原有的视频编码解码并转为ffmpeg内部使用的格式，速度会比上第一步慢不少，但是应该也是可以接受的。当然在码率比较高的情况下也会非常缓慢（在Pentium4时代的机器上看1080p的高清视频很卡）。

“过程3”是需要对每一帧进行处理，那么这步是可高度并行化的应该可以放到GPU进行。

“过程4”一定是最慢的一个环节：H.264需要将图像分割成很多个宏块, 然后利用视频帧图像的帧内和帧间的相关性, 采用帧内预测或帧间预测的编码模式, 对各个宏块进行压缩。然后形成帧，组成为码流。整个过程复杂，但宏块儿的处理是可以高度并行化的操作，应该可以放到GPU进行。

“过程5”和“过程1”类似。

所以如果想用GPU加速以上的过程，那么把“过程4”和“过程2”的密集计算从CPU上转到GPU上，应该是可能的发力点。

如果要设计这个系统，软件自底层到上层有几点需要考虑：

  1. 如果显卡可以指定，应该是Nvidia。在Linux下有完善的开发运行环境，且同时支持CUDA和OpenCL；
  2. 如果选定Nvidia显卡，那么根据前文的分析，使用CUDA是更好的GPU计算架构。并且应该使用最新的CUDA 4.0版本，因为在多GPU上能更方便的开发，并且GPU直接访问内存方面也做出了改进（CUDA 4.0的新特性详细见这里）。
  3. 在决定了以上基础设施后，为了提高单机的处理能力程序应该用何种架构来编写？单进程多线程还是多进程单线程？

关键在于在程序里如何更好的调用CUDA：

  1. 单进程多线程方式
    • 每个线程进行一个视频的转换，每个线程在其线程内部直接使用CUDA；
    • 有单独的CUDA线程，其他线程当需要时通知此线程进行运算；
  2. 多进程单线程
    • 每个进程进行一个视频的转换，在其进程内部各自独立的使用CUDA；
    • 有单独的GPU进程，其他进程当需要进行GPU运算的时IPC通知此进程进行；

在我看来，2-1的方式是最简单直接的，可以直接基于ffmpeg来实现，只需单把可并行化的部分从CPU移到GPU。但是CUDA 4.0是否支持这样做？这样做效率是否最高？

硬件配置上也有以下的问题：

  1. 是否需要在一个Server上配置多块儿GPU？虽说CUDA 4.0已经声称对此有很好的支持，但是其是否能利用好？另外受限于硬件瓶颈的一些限制（CPU计算能力、内存速度、总线速度），配置几块儿GPU比较合适？
  2. 如果使用ffmpeg，那么在一台拥有16核的服务器上，理论可以同时启动16个ffmpeg进程（单线程运行）。加入GPU运算后单个视频处理速度的提高是一定的，但是否还有这么大的并行能力？以及单位时间段内的处理能力是否提升？
  3. 加入GPU后硬件成本的增加是否值得？与单独使用CPU的相比单位成本是否更低？选用哪款Nvidia显卡的性价比最高？
  4. 如何看GPU的load average和top？

最后这件事情最难的一点在于：需要对CUDA、ffmpeg、H.264、硬件都有相当深入的了解才能做好这样的一个系统。



http://www.qingran.net/2011/07/%E4%BD%BF%E7%94%A8gpu%E5%8A%A0%E9%80%9Fh-264%E7%BC%96%E7%A0%81%E5%88%86%E6%9E%90/

wishfly
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
CUDA H264编码源代码
09-24
演示使用CUAD SDK利用显卡硬件加速进行H264编码，充分利用GPU运算能力，CPU资源占用少。
关于windows下ffmpeg视频(libx264,h264_qsv,h264_cuvid,h264_amf)编码参数纪要
xjb2006的专栏
09-24 3177
一般来说，windows下的比较常用的编码为h264和h265(也叫hevc)，用cpu编码的字符串为libx264和libx265，但是cpu编码特别消耗cpu而且帧率不高，特别是libx265，CPU编码帧率很低的。h265对应的3种常用的GPU编码字符串为hevc_qsv，hevc_cuvid,hevc_amf，分别对应于intel，英伟达和AMD的显卡。但是其他基于GPU编码的低延迟设置，在网络居然找不到相关资料，没办法，只能自己看ffmpeg源码了，在此归纳总结下，希望能帮助到同样迷茫的你。
Intel GPU及NVIDIA GPU对视频编解码支持情况
热门推荐
沧海一粟
02-06 2万+
 编解码可以软编实现(CPU)，或者硬编(GPU)，当然还可以使用专用的编解码卡(IC)，他们各有优点，但是基于硬件的处理往往速度更快。但是也有人说软编有更大的可调节性。这里我们只记录硬编的硬件支持情况，尤其是软编效率没有上来的情况下这显得尤其重要。废话不多说，先上intel GPU QSV硬编解情况：摘自：https://en.wikipedia.org/wiki/Intel_Quick_Syn...
ffmpeg NVIDIA编解码一：ffmpeg编译安装
最新发布
不定期更新关于音视频的文章
03-19 583
如果是安装再/usr/local下面，可以不用进行上面的配置，如果没安装在/usr/local下面就需要进行上面的配置，路径用ffmpeg安装的实际路径。ffmpeg支持NVIDIA编解码编译安装(需要安装cuda)nv-codec-headers下载安装。这里以4.0.5版本为例。
h264视频编码码率控制测试结果.xlsx
05-19
文档中分别通过FFmpeg的Intel-gpu加速、NVIDIA-cuda加速、x264软编码等模式下，分别测试了对应编码算法对码率控制cbr/vbr的效果，并通过客观质量评估给出评估结果。
NVENC硬编码h264/h265
02-17
使用 NVIDIA Video SDK API 进行 GPU 加速视频编码/解码的示例源码
H.264转码加速：NVENC大战Quick Sync
weixin_30508241的博客
04-29 765
　　GPU加速技术对普通消费者最直观的影响就是视频转码应用上了，NVIDIA.、AMD以及Intel都有自己的加速技术，而在新一代CPU和GPU架构上，三方都有更新的技术方案。<br><br>　　NVIDIA在Kepler架构上引入了NVENC编码单元，实测画质与CUDA相当，但是速度更快，只不过在速度和功耗上依然比不过Intel的Quick S...
Moviepy用英伟达h264_nvenc硬编码加速
Paak的个人博客
04-16 3626
Moviepy使用GPU加速（英伟达） 修改moviepy包下的ffmpeg_writer，增加 ‘-hwaccel’, ‘cuvid’ cmd = [ get_setting("FFMPEG_BINARY"), '-hwaccel', 'cuvid', '-y', '-loglevel', 'error' if logfile == sp.PIPE else 'info', '-f', 'rawvideo', '-vc
NVIDIA解码模块的H.265高于H.264解码性能的原因
百鸣的专栏
08-02 1016
通过高级的压缩算法和NVIDIA解码模块的优化，H.265视频的解码性能往往比H.264更高。结论： 通过NVIDIA解码模块的硬件加速，H.265视频的解码性能在实际情况下往往优于H.264。H.265解码性能 尽管H.265具有更高的计算复杂度，但通过NVIDIA解码模块的优化，实际的解码性能却可能比预期更高。首先，硬件配置对解码性能有很大影响，高端的GPU和CPU通常能够提供更好的解码性能。然而，由于H.264的计算复杂度较低，NVIDIA解码模块在解码H.264视频时可能表现出稍高的性能。
解码h264和h265需要的cpu性能
宝安小雨
01-07 6556
在Intel® Core™ i5-4460 CPU @ 3.20GHz 4核4线程中，视屏1080i50,12M，一路Testpattern h264解码，id为83，播放出来后音频偶尔卡顿，不明显，但缺乏长时间压力的测试。 两路的话，id为47，但Testpattern声音卡顿较一路明显。 ......
ffmpeg_libnvenc:这是FFmpeg的内部版本，支持NVIDIA的NVENC SIP块进行H.264硬件加速视频编码
05-06
FFmpeg自述文件 FFmpeg是用于处理多媒体内容（例如音频，视频，字幕和相关元数据）的库和工具的集合。 图书馆 libavcodec提供了更多编解码器的实现。 libavformat实现流协议，容器格式和基本的I / O访问。 libavutil包括散列器，解压缩器和其他实用程序函数。 libavfilter提供了一种通过一系列过滤器更改解码的音频和视频的方法。 libavdevice提供访问访问捕获和回放设备的抽象。 libswresample实现音频混合和重采样例程。 libswscale实现颜色转换和缩放例程。 工具 是一个命令行工具箱，用于处理，转换和流式传输多媒体内容。 是一种简约的多媒体播放器。 是一个简单的工具，用于检查多媒体内容。 其他小工具，例如aviocat ， ismindex和qt-faststart 。 文献资料 脱机文档可在doc /目录
qsv-encoder-example h264_qsv intel hd 显卡 ffmpeg gpu编码示例
01-17
qsv-encoder-example intel hd 显卡 ffmpeg gpu编码示例 使用ffmpeg h264_qsv编码器
windows 10 下h264编码速度测试
weixin_40592935的博客
05-28 3027
本机CPU情况1, 软编ffmpeg -s 1920x1080 -pix_fmt yuv420p -f rawvideo -i svac_yuv_1_1920_1080_0.yuv -vcodec libx264 -preset veryfast -r 25  -y svac_yuv_1_1920_1080_1.h264一秒可能编码82帧. 这里可以用slow等参数用veryslow 1秒只有4帧...
GPU视频编解码
qq_39265335的博客
02-09 2461
一视频编解码基础 1.1识别编码流程 视频编解码流程 1.2 YUV颜色空间 YCbCr通常是YUV的同义词，Y为明度(luma)，CbCr为色度(chroma)，Cb为 蓝色分量，Cr为红色分量。 颜色空间转换公式： –      RGB转YUV •      y = [0.299,0.587,0.114] *[r,g,b]’ •      u = [-0.147,-0.28...
关于NVIDIA显卡编解码能力
性情中的小完熊
01-17 631
无论是使用N卡硬编还是硬解，首先最好了解手里这个显卡的编解码能力，它是否能符合你的要求？
android gpu 视频编码,android – 编码器崩溃对Adreno GPU编码从Surface
weixin_30368405的博客
05-26 470
我一直在努力解决这个问题超过一个星期，很可能是一个错误的Qualcomm GPU /硬件视频编码器。因为我们被迫发布应用程序，并且他们的开发人员论坛没有提供任何反馈，我也在这里发布它，希望有人能够提供一些线索，或更好，一个解决方法，以便编码器中的错误未触发。应用程序从Surface编码。当某些图像被渲染到表面时，编码器在同一位置(当当前正在编码的帧是关键帧时)失败(100％)。在崩溃点从编码器的L...
Android 系统下，通过C++方式，能不能调用GPU实现硬件解码的纹理数据转为rbg格式？给出具体实现
yinshipin007的博客
04-24 425
Android 系统下，通过 C++ 方式调用 GPU 实现硬件解码的纹理数据转为 RGB 格式是可行的。下面是一个简单的示例代码，实现了将 YUV420P 格式的视频解码为 RGB 格式并显示在屏幕上：```cpp。
ffmpeg GPU加速 c++ Mat 转 h264
05-17
要使用 ffmpeg 进行 GPU 加速的 H.264 编码，需要使用 NVIDIA 的 CUDA 库来加速编码过程。同时，也需要使用 OpenCV 库来进行图像处理和转换。 下面是一个示例代码，演示了如何使用 OpenCV 和 ffmpeg 进行 GPU 加速的 H.264 编码。 ```c++ #include <iostream> #include <opencv2/opencv.hpp> #include <opencv2/core/cuda.hpp> #include <opencv2/cudaarithm.hpp> #include <opencv2/cudaimgproc.hpp> #include <opencv2/cudacodec.hpp> #include <opencv2/highgui/highgui.hpp> extern "C" { #include <libavcodec/avcodec.h> #include <libavutil/opt.h> } using namespace std; using namespace cv; int main() { // Initialize CUDA cv::cuda::setDevice(0); // Open the video capture device VideoCapture cap(0); // Check if the capture device was successfully opened if (!cap.isOpened()) { cerr << "Failed to open capture device" << endl; return -1; } // Get the default CUDA H.264 encoder Ptr<cv::cudacodec::Encoder> encoder = cv::cudacodec::createEncoder(cv::cudacodec::Codec::H264); // Set the H.264 encoder parameters encoder->setBitrate(1000000); encoder->setFrameRate(30); encoder->setWidth(cap.get(CAP_PROP_FRAME_WIDTH)); encoder->setHeight(cap.get(CAP_PROP_FRAME_HEIGHT)); // Allocate a temporary buffer for the encoded data cuda::GpuMat temp; temp.create(encoder->getOutputBufferSize()); // Open the output file AVFormatContext* formatContext = avformat_alloc_context(); int err = avformat_alloc_output_context2(&formatContext, NULL, NULL, "output.mp4"); if (err < 0) { cerr << "Failed to initialize output format" << endl; return -1; } AVOutputFormat* outputFormat = formatContext->oformat; AVCodec* codec = avcodec_find_encoder(outputFormat->video_codec); if (!codec) { cerr << "Failed to find codec" << endl; return -1; } AVStream* stream = avformat_new_stream(formatContext, codec); if (!stream) { cerr << "Failed to allocate stream" << endl; return -1; } AVCodecContext* codecContext = avcodec_alloc_context3(codec); if (!codecContext) { cerr << "Failed to allocate codec context" << endl; return -1; } codecContext->codec_tag = 0; codecContext->width = encoder->getWidth(); codecContext->height = encoder->getHeight(); codecContext->time_base = { 1, encoder->getFrameRate() }; codecContext->pix_fmt = AV_PIX_FMT_YUV420P; if (formatContext->oformat->flags & AVFMT_GLOBALHEADER) { codecContext->flags |= AV_CODEC_FLAG_GLOBAL_HEADER; } err = avcodec_open2(codecContext, codec, NULL); if (err < 0) { cerr << "Failed to open codec" << endl; return -1; } err = avcodec_parameters_from_context(stream->codecpar, codecContext); if (err < 0) { cerr << "Failed to copy codec parameters" << endl; return -1; } av_dump_format(formatContext, 0, "output.mp4", 1); err = avio_open(&formatContext->pb, "output.mp4", AVIO_FLAG_WRITE); if (err < 0) { cerr << "Failed to open output file" << endl; return -1; } err = avformat_write_header(formatContext, NULL); if (err < 0) { cerr << "Failed to write header" << endl; return -1; } // Loop over the video frames Mat frame; while (true) { // Capture a new frame from the video device cap >> frame; if (frame.empty()) { break; } // Convert the frame to YUV420P format cuda::GpuMat gpuFrame, gpuYUV; gpuFrame.upload(frame); cuda::cvtColor(gpuFrame, gpuYUV, COLOR_BGR2YUV_I420); // Encode the frame encoder->encode(gpuYUV, temp); // Write the encoded frame to the output file AVPacket packet; av_init_packet(&packet); packet.data = temp.ptr(); packet.size = (int)temp.cols; packet.pts = av_rescale_q(encoder->getEncodedFrames(), { 1, encoder->getFrameRate() }, codecContext->time_base); packet.dts = packet.pts; packet.duration = av_rescale_q(1, { 1, encoder->getFrameRate() }, codecContext->time_base); packet.stream_index = stream->index; err = av_interleaved_write_frame(formatContext, &packet); if (err < 0) { cerr << "Failed to write frame" << endl; return -1; } } // Release resources av_write_trailer(formatContext); avcodec_close(codecContext); avcodec_free_context(&codecContext); avformat_close_input(&formatContext); return 0; } ``` 这个示例代码使用 OpenCV 和 ffmpeg 库进行 GPU 加速的 H.264 编码。它首先创建了一个 CUDA H.264 编码器，然后使用它来编码从摄像头捕获的视频帧。编码后的数据存储在一个临时的 GPU 内存区域中，然后写入输出文件。最后，释放所有的资源。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值