本文讲解在linux下面，如何通过ffmpeg调用GPU硬件解码，并保存解码完的yuv文件。
其实，ffmpeg自带的例子hw_decode.c这个文件，就已经能满足要求了，因此，本文就尝试讲解以下hw_decode这个例子。hw_decode.c可以调用VDPAU硬件解码，也可以调用VAAPI硬件解码，下面依次讲解如何进行操作。
下载hw_decode.c文件
我是从网上直接下载ffmpeg源码，下载地址如下：https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2
我这里下载的是4.2.9的源码，然后解压缩之后，在ffmpeg-4.2.9/doc/examples/hw_decode.c路径，就保存了我们需要的hw_decode.c文件。
搭建开发环境
搭建开发环境分2种，一种是直接使用系统自带的软件源里面的软件包进行开发，另外一种就是自己重新编译ffmpeg并进行开发，这两种选一种就可以了。推荐使用软件源的软件包进行开发，因为相对简单一些。下面分别讲解如何操作。
使用软件源的软件包进行开发
需要安装的依赖项如下，我这里是deb系列安装方式。
sudo apt install libvdpau-dev libva-dev ffmpeg libavcodec-dev libavformat-dev libavutil-dev
编译， cd 到ffmpeg-4.2.9/doc/examples目录，执行如下命令
gcc hw_decode.c -lavcodec -lavutil -lavformat -o hw_decode
就可以得到hw_decode这个可执行文件。
自己编译ffmpeg进行开发
自己编译ffmpeg，首先要下载ffmpeg源码，下载地址如下：https://ffmpeg.org/releases/ffmpeg-4.2.9.tar.bz2。
然后解压缩，cd ffmpeg-4.2.9，然后进行configure配置，如果你想使用VDPAU解码，那么configure命令如下
./configure --enable-shared --enable-vdpau
如果你想使用vaapi解码，那么configure命令如下
./configure --enable-shared --enable-vaapi
如果你vdpau和vaapi都想使用，那么进行如下configure。
./configure --enable-shared --enable-vdpau --enable-vaapi
然后，这里可能会遇到问题，可能就是没有安装vdpau开发包，或者没有安装vaapi开发包导致的，输入如下命令安装就可以了。
sudo apt install libvdpau-dev libva-dev
然后再进行configure操作。
之后，再进行如下操作：
make -j8
make examples
sudo make install
其中,make -j8是使用8线程进行ffmpeg编译。
make examples，就是把ffmpeg所有的例子都编译，这样在ffmpeg-4.2.9/doc/exmaples目录，就会生成hw_decode这个可执行文件。
sudo make install，会将ffmpeg的动态库安装到/usr/local/lib下面，可执行文件安装到/usr/local/bin下面，头文件安装到/usr/local/include目录下面。
运行hw_decode例子
cd 到生成hw_decode的目录，如果使用vdpau解码，那么执行如下命令，你需要将第2个参数的视频路径，替换成你的视频路径。
./hw_decode vdpau ~/视频/210329_06B_Bali_1080p_013.mp4 ./out.yuv
如果使用vaapi解码，那么需要使用如下命令：
./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4 ./out.yuv
同样，需要将第2个参数替换成你的视频路径。
有的显卡，需要添加环境变量LIBVA_DRIVER_NAME。比如景嘉微JM9系列显卡，需要使用如下命令：
LIBVA_DRIVER_NAME=jmgpu ./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4 ./out.yuv
检验out.yuv结果
ffplay -pix_fmt nv12 -s 1920x1080 out.yuv
如上所示，使用ffmpeg自带的播放器ffplay，然后-pix_fmt 指定yuv格式， -s指定分辨率，然后播放。
hw_decode例子源码讲解
下面开始讲解代码，从main函数开始讲解。
int main(int argc, char *argv[])
{
AVFormatContext *input_ctx = NULL;
int video_stream, ret;
AVStream *video = NULL;
AVCodecContext *decoder_ctx = NULL;
AVCodec *decoder = NULL;
AVPacket packet;
enum AVHWDeviceType type;
int i;
if (argc < 4) {
fprintf(stderr, "Usage: %s <device type> <input file> <output file>\n", argv[0]);
return -1;
}
刚开始的一段，全是变量声明和定义，这些变量都是后面用的到的。然后if (argc < 4)这个判断，是用来判断使用方式的，下面的使用方式，正好是4个argc，第一个./hw_decode是程序名字，第2个参数vaapi表示使用的解码接口，第3个参数是视频路径，第4个参数是输出yuv路径。
./hw_decode vaapi ~/视频/210329_06B_Bali_1080p_013.mp4 ./out.yuv
如果argc < 4，那么提示使用方式，然后返回-1，程序结束。
type = av_hwdevice_find_type_by_name(argv[1]);
if (type == AV_HWDEVICE_TYPE_NONE) {
fprintf(stderr, "Device type %s is not supported.\n", argv[1]);
fprintf(stderr, "Available device types:");
while((type = av_hwdevice_iterate_types(type)) != AV_HWDEVICE_TYPE_NONE)
fprintf(stderr, " %s", av_hwdevice_get_type_name(type));
fprintf(stderr, "\n");
return -1;
}
接下来，就是去寻找第2个参数对应的硬件解码类型，argv[1]就对应我们解码程序的参数"vdpau"，或者"vaapi"，如果找到了，就保存在变量type中，如果没找到，就通过一个while循环把支持的硬件类型列举，并打印出来，然后return -1程序退出。
/* open the input file */
if (avformat_open_input(&input_ctx, argv[2], NULL, NULL) != 0) {
fprintf(stderr, "Cannot open input file '%s'\n", argv[2]);
return -1;
}
接下来，avformat_open_input，就是打开输入文件，在我这里，对应的就是打开“~/视频/210329_06B_Bali_1080p_013.mp4”这个文件，argv[2]就是输入视频路径，如果失败了，就返回-1，否则继续。
if (avformat_find_stream_info(input_ctx, NULL) < 0) {
fprintf(stderr, "Cannot find input stream information.\n");
return -1;
}
然后，查找视频文件里面的码流信息，一般就是找这个视频里面，有几个视频流，有几个音频流，如果没有找到因视频信息，就加一条错误打印，然后返回-1.
/* find the video stream information */
ret = av_find_best_stream(input_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, &decoder, 0);
if (ret < 0) {
fprintf(stderr, "Cannot find a video stream in the input file\n");
return -1;
}
video_stream = ret;
接下来，查找AVMEDIA_TYPE_VIDEO，也就是查找视频流信息，并将视频流的索引号，保存在video_stream中。
for (i = 0;; i++) {
const AVCodecHWConfig *config = avcodec_get_hw_config(decoder, i);
if (!config) {
fprintf(stderr, "Decoder %s does not support device type %s.\n",
decoder->name, av_hwdevice_get_type_name(type));
return -1;
}
if (config->methods & AV_CODEC_HW_CONFIG_METHOD_HW_DEVICE_CTX &&
config->device_type == type) {
hw_pix_fmt = config->pix_fmt;
break;
}
}
接下来，就是通过一个循环，查找能支持的硬件格式对应的pix_fmt，比如我这里使用vaapi，那么通过AV_HWDEVICE_TYPE_VAAPI找到了pix_fmt为AV_PIX_FMT_VAAPI_VLD。
if (!(decoder_ctx = avcodec_alloc_context3(decoder)))
return AVERROR(ENOMEM);
video = input_ctx->streams[video_stream];
if (avcodec_parameters_to_context(decoder_ctx, video->codecpar) < 0)
return -1;
decoder_ctx->get_format = get_hw_format;
继续，分配一个解码上下文 decoder_ctx，然后根据视频码流信息，填充decoder_ctx里面内容。
并将get_hw_format这个函数地址，给到decoder_ctx->get_format中，这样后续解码器解码时会调用这个get_fomat函数指针来对格式进行判断。
if (hw_decoder_init(decoder_ctx, type) < 0)
return -1;
初始化完了解码上下文，再初始化硬件解码器。
if ((ret = avcodec_open2(decoder_ctx, decoder, NULL)) < 0) {
fprintf(stderr, "Failed to open codec for stream #%u\n", video_stream);
return -1;
}
打开解码器。
/* open the file to dump raw data */
output_file = fopen(argv[3], "w+");
打开输出文件，这个argv[3]，就对应我们命令行里面的out.yuv，就是打开这个文件，方便后面写入使用。
/* actual decoding and dump the raw data */
while (ret >= 0) {
if ((ret = av_read_frame(input_ctx, &packet)) < 0)
break;
if (video_stream == packet.stream_index)
ret = decode_write(decoder_ctx, &packet);
av_packet_unref(&packet);
}
重点戏来了，就是这个while循环，av_read_frame读取一帧数据，保存在packet中，然后判断以下这个packet的stream_index是不是video_stream，如果是视频数据，就调用decode_write，否则就什么也不做，处理完之后，调用av_packet_unref取消packet的引用。看来重点就在这个decode_write函数里面。
static int decode_write(AVCodecContext *avctx, AVPacket *packet)
{
AVFrame *frame = NULL, *sw_frame = NULL;
AVFrame *tmp_frame = NULL;
uint8_t *buffer = NULL;
int size;
int ret = 0;
ret = avcodec_send_packet(avctx, packet);
if (ret < 0) {
fprintf(stderr, "Error during decoding\n");
return ret;
}
decode_write拿到packet数据，调用avcodec_send_packet，将packet发送给解码器。
while (1) {
if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
fprintf(stderr, "Can not alloc frame\n");
ret = AVERROR(ENOMEM);
goto fail;
}
ret = avcodec_receive_frame(avctx, frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
av_frame_free(&frame);
av_frame_free(&sw_frame);
return 0;
} else if (ret < 0) {
fprintf(stderr, "Error while decoding\n");
goto fail;
}
if (frame->format == hw_pix_fmt) {
/* retrieve data from GPU to CPU */
if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
fprintf(stderr, "Error transferring the data to system memory\n");
goto fail;
}
tmp_frame = sw_frame;
} else
tmp_frame = frame;
size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
tmp_frame->height, 1);
buffer = av_malloc(size);
if (!buffer) {
fprintf(stderr, "Can not alloc buffer\n");
ret = AVERROR(ENOMEM);
goto fail;
}
ret = av_image_copy_to_buffer(buffer, size,
(const uint8_t * const *)tmp_frame->data,
(const int *)tmp_frame->linesize, tmp_frame->format,
tmp_frame->width, tmp_frame->height, 1);
if (ret < 0) {
fprintf(stderr, "Can not copy image to buffer\n");
goto fail;
}
if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
fprintf(stderr, "Failed to dump raw data.\n");
goto fail;
}
fail:
av_frame_free(&frame);
av_frame_free(&sw_frame);
av_freep(&buffer);
if (ret < 0)
return ret;
}
然后一个大的while循环，这里其实就是让解码器去解码，如果解码得到数据，就将数据从GPU显存拷贝到CPU内存，然后再写入out.yuv文件中。下面分开讲解。
while (1) {
if (!(frame = av_frame_alloc()) || !(sw_frame = av_frame_alloc())) {
fprintf(stderr, "Can not alloc frame\n");
ret = AVERROR(ENOMEM);
goto fail;
}
while的开始，分配了2个frame，第一个frame，是用来保存GPU解码完毕的数据，这个数据位于显存。第2个sw_frame是用来保存内存数据，用来将GPU显存的yuv数据拷贝到内存用的。
ret = avcodec_receive_frame(avctx, frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF) {
av_frame_free(&frame);
av_frame_free(&sw_frame);
return 0;
} else if (ret < 0) {
fprintf(stderr, "Error while decoding\n");
goto fail;
}
avcode_receive_frame，用来接受解码器传过来的frame数据，也就是如果解码器解码完了，会得到一个解码完毕的AVFrame数据，这个数据就保存在frame中。如果返回值为EAGAIN或者AVERROR_EOF，说明之前的packet并没有解码得到一个完整的AVFrame数据，因此需要把前面分配的2个frame和sw_frame都释放掉，然后返回0，说明这一个packet处理完毕了。如果ret 是其他值 < 0，说明解码出错了，goto fail。fail标签后面再说。
if (frame->format == hw_pix_fmt) {
/* retrieve data from GPU to CPU */
if ((ret = av_hwframe_transfer_data(sw_frame, frame, 0)) < 0) {
fprintf(stderr, "Error transferring the data to system memory\n");
goto fail;
}
tmp_frame = sw_frame;
} else
tmp_frame = frame;
否则，我们解码得到了一帧数据，判断一下，这一帧数据的格式，如果格式正好是hw_pix_fmt，那么调用av_hwframe_transfer_data，将frame里面的GPU数据，传输到sw_frame里面，tmp_frame正好等于sw_frame。如果不是hw_pix_fmt，那么tmp_frame就是frame。这个执行完之后，tmp_frame里面保存的就是内存数据了。
size = av_image_get_buffer_size(tmp_frame->format, tmp_frame->width,
tmp_frame->height, 1);
buffer = av_malloc(size);
if (!buffer) {
fprintf(stderr, "Can not alloc buffer\n");
ret = AVERROR(ENOMEM);
goto fail;
}
ret = av_image_copy_to_buffer(buffer, size,
(const uint8_t * const *)tmp_frame->data,
(const int *)tmp_frame->linesize, tmp_frame->format,
tmp_frame->width, tmp_frame->height, 1);
if (ret < 0) {
fprintf(stderr, "Can not copy image to buffer\n");
goto fail;
}
接下来，判断tmp_frame的数据大小，分配一个size大小的buffer，将tmp_frame的数据，搬到buffer中。
if ((ret = fwrite(buffer, 1, size, output_file)) < 0) {
fprintf(stderr, "Failed to dump raw data.\n");
goto fail;
}
然后将buffer中的数据，写入到output_file中，也就是写入到out.yuv中。
fail:
av_frame_free(&frame);
av_frame_free(&sw_frame);
av_freep(&buffer);
if (ret < 0)
return ret;
}
}
如果失败了，释放frame， sw_frame, buffer内容，并且如果ret <0， 返回ret。
/* actual decoding and dump the raw data */
while (ret >= 0) {
if ((ret = av_read_frame(input_ctx, &packet)) < 0)
break;
if (video_stream == packet.stream_index)
ret = decode_write(decoder_ctx, &packet);
av_packet_unref(&packet);
}
/* flush the decoder */
packet.data = NULL;
packet.size = 0;
ret = decode_write(decoder_ctx, &packet);
av_packet_unref(&packet);
if (output_file)
fclose(output_file);
avcodec_free_context(&decoder_ctx);
avformat_close_input(&input_ctx);
av_buffer_unref(&hw_device_ctx);
return 0;
}
然后一直循环av_read_frame，解码写文件，直到av_read_frame < 0，也就是把整个输入文件都处理完了，这个while循环结束。
接下来，还设置了一个packet.data = NULL， 调用了一次decode_write，就是告诉解码器，我没有数据了，你里面如果还缓存一些数据，都给我输出出来吧。
最后就是关闭输出文件，释放解码器上下文，关闭输出，释放硬件设备上下文。至此， hw_decode解析完毕。
常见问题
- 为什么硬件解码这么慢，CPU占用率也很高？
答： 之所以这么慢，CPU占用率高，是因为有2个操作，1个操作是需要将数据从GPU显存拷贝到CPU内存，另外1个操作是需要写文件。如果你屏蔽av_hwframe_transfer_data及之后的操作，这里对应代码107行到139行，那么速度将会特别快。
2. 为什么运行vaapi时提示找不到vaapi device。
答：可能原因是没有安装 vaapi驱动，或者没有指定LIBVA_DRIVER_NAME这个环境变量。
2226
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
