【2022年第一期 CANN训练营学习笔记】进阶班应用开发课 大作业2-视频码流解码+图片缩放+JPEG图片编码

最新推荐文章于 2024-05-30 07:32:10 发布
最新推荐文章于 2024-05-30 07:32:10 发布
阅读量1.3k 收藏
点赞数 1
文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22231339/article/details/124446145
版权

1、大作业2题目如下：开发媒体数据处理的应用，应用的输入为视频码流、输出为JPEG图片，且JPEG 图片与视频的分辨率不同。

根据作业提示，转换的思路如下：
媒体数据处理各功能串联时，可实现内存复用：
− 视频码流解码的输出可以作为图片缩放的输入；
− 图片缩放的输出可以作为 JPEG 图片编码的输入。
视频解码接口这一块，通过课程的学习还有资料参考，是通过VDEC视频解码获取视频流
一般使用多线程方式调用，一路线程视频解码，一路做其他操作：
image.png

各个主要接口作用：
1、调用aclvdecCreateChannel接口创建视频解码处理的通道

创建视频解码处理通道前，需先执行以下操作：
调用aclvdecCreateChannelDesc接口创建通道描述信息。
调用aclvdecSetChannelDesc系列接口设置通道描述信息的属性，包括解码通道号、线程、回调函数、视频编码协议等，其中：
回调函数需由用户提前创建，用于在视频解码后，获取解码数据，并及时释放相关资源，回调函数的原型前参见aclvdecCallback。
在回调函数内，用户需调用acldvppGetPicDescRetCode接口获取retCode返回码判断是否解码成功，retCode为0表示解码成功，为1表示解码失败。如果解码失败，需要根据日志中的返回码判断具体的问题，返回码请参见返回码说明。

解码结束后，建议用户在回调函数内及时释放VDEC的输入码流内存、输出图片内存以及相应的视频码流描述信息、图片描述信息。

aclvdecCreateChannel接口内部封装了如下接口，无需用户单独调用：
aclrtCreateStream接口：显式创建Stream，VDEC内部使用。
aclrtSubscribeReport接口：指定处理Stream上回调函数的线程，回调函数和线程是由用户调用aclvdecSetChannelDesc系列接口时指定的。

2、调用aclvdecSendFrame接口将视频码流解码成YUV420SP格式的图片。

视频解码前，需先执行以下操作：
调用acldvppCreateStreamDesc接口创建输入视频码流描述信息，并调用acldvppSetStreamDesc系列接口设置输入视频的内存地址、内存大小、码流格式等属性。
调用acldvppCreatePicDesc接口创建输出图片描述信息，并调用acldvppSetPicDesc系列接口设置输出图片的内存地址、内存大小、图片格式等属性。
aclvdecSendFrame接口内部封装了aclrtLaunchCallback接口，用于在Stream的任务队列中增加一个需要执行的回调函数。用户无需单独调用aclrtLaunchCallback接口。
如果用户需要获取解码的帧序号，则可以在aclvdecSendFrame接口的userData参数处定义，然后解码的帧序号可以通过userData参数传递给VDEC的回调函数，用于确定回调函数中处理的是第几帧数据。

3、调用aclvdecDestroyChannel接口销毁视频处理的通道

系统会等待已发送帧解码完成且用户的回调函数处理完成后再销毁通道。
aclvdecDestroyChannel接口内部封装了如下接口，无需用户单独调用：
aclrtUnSubscribeReport接口：取消线程注册（Stream上的回调函数不再由指定线程处理）。
aclrtDestroyStream接口：销毁Stream。
销毁通道后，需调用aclvdecDestroyChannelDesc接口销毁通道描述信息

2、sample参考

根据学习的内容，原来的sample仓里面，包含三个VDEC、VPC Resize、JPEGE单独的样例：
image.png

2.1 ffmpeg切帧

输入为mp4文件，切帧输出到device侧：

    //intialize ffmpeg decoder
    FFmpegDecoder();
	ACLLITE_LOG_INFO("Get Vdec type: %d", GetVdecType());
    //verify video type
    if (kInvalidTpye == GetVdecType()) {      
        ACLLITE_LOG_ERROR("Video %s type is invalid", streamName_.c_str());
    } 

    //Get video fps, if no fps, use 1 as default
    if (fps_ == 0) {
        fps_ = kDefaultFps;
        ACLLITE_LOG_INFO("Video %s fps is 0, change to %d", 
                       streamName_.c_str(), fps_);
    }

    Decode();
2.2 VDEC 视频解码

输入h264或者h265单帧，解码为YUV420格式，保存为yuv格式的文件

VDEC样例中关键代码实现：
线程创建：

    /* 3. Vdec init */
    // create threadId
    pthread_create(&threadId_, nullptr, ThreadFunc, nullptr);
    (void)aclrtSubscribeReport(static_cast<uint64_t>(threadId_), stream_);

创建输出图片的disc：

		//Create output image description information, set the image description information properties
		//picOutputDesc_ is acldvppPicDesc
        picOutputDesc_ = acldvppCreatePicDesc();
        ret = acldvppSetPicDescData(picOutputDesc_, picOutBufferDev_);
        ret = acldvppSetPicDescSize(picOutputDesc_, DataSize);
        ret = acldvppSetPicDescFormat(picOutputDesc_, static_cast<acldvppPixelFormat>(format_));

VDEC解码：

/* Perform video stream decoding. After decoding each frame of data, the system automatically 
		calls callback callback function to write the decoded data to the file, and then timely release
		 relevant resources*/
        ret = aclvdecSendFrame(vdecChannelDesc_, streamInputDesc_, picOutputDesc_, nullptr, nullptr);

回调函数：

void callback(acldvppStreamDesc *input, acldvppPicDesc *output, void *userdata)
{
    /*Get the output memory decoded by VDEC, call the custom function WriteToFile to write 
	the data in the output memory to the file, and then call the acldvppFree interface to release
	 the output memory*/
    void *vdecOutBufferDev = acldvppGetPicDescData(output);
    uint32_t size = acldvppGetPicDescSize(output);
    static int count = 1;
    std::string fileNameSave = "./output/image" + std::to_string(count) + ".yuv";
    if (!WriteToFile(fileNameSave.c_str(), vdecOutBufferDev, size)) {
        ERROR_LOG("write file failed.");
    }
    aclError ret = acldvppFree(reinterpret_cast<void *>(vdecOutBufferDev));

    // Release acldvppPicDesc type data, representing output picture description data after decoding
    ret = acldvppDestroyPicDesc(output);

    count++;
}

sample运行截图，保存了10帧yuv文件：
image.png

2.3 VPC Resize

输入YUV图片，根据Resize的尺寸，保存resize之后的YUV图片，sample运行截图：
image.png
image.png

2.4 JPEGE 编码

输入yuv图片，调用编码接口，保存JPEG图片，sample运行截图：
image.png
image.png

3、ffmPeg+ VDEC + VPC Resize + JPEGE串联

根据学习的内容，按照以下思路将完整的功能串联在一起输出代码，实现内存的复用，ffmpeg切帧，将mp4视频的单帧输出，拷贝到device内存，VDEC解码后的YUV输出内存给到VPC Resize，Resize之后的内存给到JPEGE，编码之后根据内存输出地址和Buffersize，写文件图片即可。
关键实现代码如下，完整代码请看作业贴回复附件。

3.1.视频解码

主要接口：
aclvdecSendFrame视频解码
代码实现：

ret = aclvdecSendFrame(vdecChannelDesc_, streamInputDesc_, picOutputDesc_, nullptr, nullptr);
3.2. VPC Resize

acldvppCreateResizeConfig缩放配置接口
acldvppVpcResizeAsync异步接口，将输入图片缩放到输出图片大小,输出大小这里设置为640*480，可以自行修改。
代码实现：

	acldvppResizeConfig *resizeConfig_ = acldvppCreateResizeConfig();
	uint32_t modelInputWidth = 640;
	uint32_t modelInputHeight = 480;
    uint32_t sizeAlignment = 3;
    uint32_t sizeNum = 2;
	
    acldvppPicDesc *vpcOutputDesc_ = acldvppCreatePicDesc();
    void *vpcOutBufferDev_ = nullptr;

    acldvppSetPicDescData(vpcOutputDesc_, vpcOutBufferDev_);
	
	acldvppSetPicDescFormat(vpcOutputDesc_, PIXEL_FORMAT_YUV_SEMIPLANAR_420);
    acldvppSetPicDescWidth(vpcOutputDesc_, modelInputWidth);
    acldvppSetPicDescHeight(vpcOutputDesc_, modelInputHeight);
    acldvppSetPicDescWidthStride(vpcOutputDesc_, resizeOutWidthStride);
    acldvppSetPicDescHeightStride(vpcOutputDesc_, resizeOutHeightStride);
    acldvppSetPicDescSize(vpcOutputDesc_, vpcOutBufferSize_);
	
	ret = acldvppVpcResizeAsync(dvppChannelDesc_, output,
	vpcOutputDesc_, resizeConfig_, stream2_);
3.3. JPEGE编码

主要接口：
acldvppCreateJpegeConfig创建图片编码配置数据
acldvppJpegEncodeAsync异步编码
代码实现：

	uint32_t encodeLevel = 100; // default optimal level (0-100)
	acldvppJpegeConfig *jpegeConfig_;
	void* encode_out_buffer_dev_;
	jpegeConfig_ = acldvppCreateJpegeConfig();

	//call Asynchronous api
    aclRet = acldvppJpegEncodeAsync(dvppChannelDesc_, vpcOutputDesc_, encode_out_buffer_dev_,
    &encode_outbuffer_size_, jpegeConfig_, stream2_);
3.4. 保存JPEG图片

根据编码输出内存地址和Buffersize，写入到JPEG图片：

    int dir_tail_index = image_path.find("/data");
    std::string outfile_dir = image_path.substr(0, dir_tail_index) + "/" + "out/output/";
    std::string outfile_path = outfile_dir + image_path.substr(dir_tail_index+5+1, image_path.rfind(".jpg")-dir_tail_index-5-1) 
        + "_jpege_" + std::to_string(modelInputWidth) + "_" + std::to_string(modelInputHeight) + ".jpg";   
    INFO_LOG("outfile_path=%s", outfile_path.c_str());


    ret = save_dvpp_outputdata(outfile_path.c_str(), encode_out_buffer_dev_, encode_outbuffer_size_);
    if (ret != SUCCESS) {
        ERROR_LOG("save dvpp output data failed");
        // allow not return
    }
3.5. 运行效果

编译：

cd vdec_resize_jpede/
cd scripts/
bash sample_build.sh

编译Log：

[INFO] Sample preparation
please input TargetKernel? [arm/x86]:x86
[INFO] input is normal, start preparation.
-- The C compiler identification is GNU 7.5.0
-- The CXX compiler identification is GNU 7.5.0
-- Detecting C compiler ABI info
-- Detecting C compiler ABI info - done
-- Check for working C compiler: /usr/bin/cc - skipped
-- Detecting C compile features
-- Detecting C compile features - done
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Check for working CXX compiler: /usr/bin/g++ - skipped
-- Detecting CXX compile features
-- Detecting CXX compile features - done
-- Configuring done
-- Generating done
-- Build files have been written to: /home/gitee/samples/cplusplus/level2_simple_inference/0_data_process/vdec_resize_jpege/build/intermediates/host
Scanning dependencies of target main
[ 50%] Building CXX object CMakeFiles/main.dir/main.cpp.o
[100%] Linking CXX executable /home/gitee/samples/cplusplus/level2_simple_inference/0_data_process/vdec_resize_jpege/out/main
[100%] Built target main
[INFO] Sample preparation is complete

运行：

bash sample_run.sh

运行Log：

[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success
[INFO]  create dvppChannelDesc_ success
[INFO]  VPC Resized_Width=640, Resized_Hight=480, Output_Buffer_Size=460800
[INFO]  Call acldvppCreateJpegeConfig success
[INFO]  Call acldvppJpegEncodeAsync success

从原来的cat.mp4视频，解码输出100帧Resize之后的图片：
image.png

图片分辨率为640*480：
image.png
图片是根据ffmpeg解码的帧变化而变化：
image.png
image.png

python老妹
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【2022年第一期 CANN训练营学习笔记】进阶班应用开发课 大作业1-开发DVPP应用，输入，输出都是JPEG图片，且分辨率不同
qq_22231339的博客
04-27 506
1、大作业1题目如下：开发DVPP应用，输入，输出都是JPEG图片，且分辨率不同。 根据作业提示，转换的思路如下： 原始JPEG图片->JPEG解码->YUV Resize->JPEGE->保存JPEG图片 这些应该使用dvpp技术，在device端进行转换。其流程应满足dvpp的流程设计和编码方式。 下面看看如何实战。 实现JPEG图片解码-缩放-编码的过程应该使用dvpp技术，在device端进行转换，其流程满足dvpp的流程设计和编码方式 2、sample参考 根据学习的内容，
【2023·CANN训练营第一季】直播课笔记 2023.3.16 零基础带你入门昇腾AI（上）配套文档
04-08
【2023·CANN训练营第一季】直播课笔记 2023.3.16 零基础带你入门昇腾AI（上）配套文档
Open4Es-Shader-Android:这是一个可以在使用GL4ES的Minecraft Java Edition For Phone项目上运行的着色器
05-15
Open4Es-Shader-Android 这是一个可以在使用Minecraft Java Edition For Phone项目上运行的着色器。 如和 。 当前仅支持Snapdragon设备。 Open4Es-Chocapic： Open4Es-KUMA（KUDA / LUMA）： Open4Es-SEUS： 如果您要制作视频或与他人共享视频，请使用GitHub链接并注明作者。 贡献： 欢迎进行贡献，只有一小段代码仍然可以使着色器漂亮：) 安装： 安卓： iOS： 根据Pojavlauncher开发人员khanhduytran0的说法，此版本也可以在他的iPhone上使用
如何利用CANN DVPP进行图片的等比例缩放？
华为云官方博客
08-15 1633
介绍如何用昇腾AI处理器上的DVPP单元进行，图像的等比例缩放，保证图像不变形。
AscendCL DVPP 模块学习
weixin_44812601的博客
03-27 695
华为的Ascend CL 中，数据预处理包含两大工具 AIPP 和 DVPP。其中 DVPP中主要提供了5个功能模块，包括视频编码模块(VENC)、视频解码模块(VDEC)、JPEG图片解码(JPEGE)、JPEG图片解码(JPEGD)、视觉预处理模块(VPC)
Ascend CL两种数据预处理的方式：AIPP和DVPP
华为云官方博客
03-20 697
本文介绍了昇腾CANN提供的两种数据预处理的方式：DVPP和AIPP，介绍了两者的功能、差别及联系，并以具体代码示例介绍了如何使用DVPP和AIPP的功能。
ACL 基于昇腾CANN的ACL推理应用开发原理（Python) ex_1
ygf666的博客
04-20 5655
Learn From: https://www.hiascend.com/zh/college/onlineExperiment/codeLabAcl/acl ACL应用案例部署 课程目标 学完本课程，您应该能够： 1.了解ACL的基本概念，清楚ACL具备哪些能力，能为我们做什么 2.了解ACL定义的编程模型，理解各类运行资源的概念及其相互关系 3.能够区分Host和Device的概念，并学会管理这两者各自的内存 4.加载一个离线模型进行推理，并为推理准备输入输出数据结构 2. 基础知识 2.1 ATC
昇腾应用案例体验：(4) 视频转码
Cai_deLong的博客
05-17 411
昇腾AI应用，探索人工智能的无限可能，使能千行百业 视频转码 概述 本应用基于 mxVision 实现视频转码功能。应用了昇腾芯片硬件加速编解码能力，目前支持 CIF/D1 的视频转码，可部署在 Atlas 800（Model 3000）、Atlas 800（Model 3010）。 技术流程图 视频解码-->图像缩放-->视频编码 视频解码：调用硬件（DVPP）解码能力，转换为 YUV 格式图像数据。 图像缩放：基于硬件（DVPP）图像加速处理能力，将图像缩放到一定尺寸大小。
视频编码与通信第二次大作业
06-30
视频编码与通信第二次大作业，进行HEVC视频编码和解码；H.264和HEVC视频编解码对比分析。
数字视频大作业20200624
湖人名宿Onebear的博客
06-24 277
` from PySide2.QtWidgets import QApplication, QMainWindow, QPushButton, QPlainTextEdit, QMessageBox import you_get import numpy as np import sys from moviepy.editor import * import base64 # base64是一种将不可见字符转换为可见字符的编码方式 import cv2 # opencv是跨平台计算机视觉库，实现了图像处理和
【2023 · CANN训练营第一季】昇腾AI进阶课（应用开发深入讲解）学习笔记
SparK233的博客
05-11 115
• --model 指定原始模型--framework 指定原始网络模型架构-- input_format 输入数据格式--input_shape 输入输出格式--output 输入模型的路径与文件名--insert_op_conf 插入算子的配置文件路径&文件名。• 开源模型经过Parser解析，转换为IR Graph经过图准备，图拆分，图优化，图编译转换为离线模型。• 结构设计-原始模型与输入输出分析-样例编写-样例运行。• acldvppMalloc 内存申请与释放。
2023 · CANN训练营第一季TIK C++算子开发
05-23
2023 · CANN训练营第一季TIK C++算子开发
基于Resnet50模型实现的图像分类应用，图像视频处理（DVPP）单接口样例，包含图片视频解码，缩放，抠图，转换等功能
10-16
昇腾样例仓提供了一系列媒体数据处理（DVPP/AIPP）、算子开发与调用（Ascend C）、推理应用开发与部署（AscendCL）等场景的丰富代码样例给开发者进行参考学习，帮助开发者快速入门，进而熟练掌握CANN关键特性使用。...
opencv-480.jar+opencv-java480(x86,x64)
09-09
Fixes in CANN backend: #23319 support ONNX Split, Slice, Clip (Relu6) and Conv with auto_pad. #23401 support ONNX Sub, PRelu, ConvTranspose. #23613 Reduce Refactor for robustness and potential follow-...
opencv-470.jar+opencv-java470(x86,x64)
09-09
Added CANN backend support #22634. Link to the manual: https://github.com/opencv/opencv/wiki/Huawei-CANN-Backend. Added bacthed NMS for multi-class object detection #22857 Accelerating convolution, ...
【2023 · CANN训练营第一季】数据预处理-JPEG数据解码
qq_43603900的博客
05-14 224
【2023 · CANN训练营第一季】数据预处理-JPEG数据解码
昇腾AI处理器软件栈--数字视觉预处理（DVPP）
华为云官方博客
12-02 8224
数字视觉预处理模块作为昇腾AI软件栈中的编解码和图像转换模块，为神经网络发挥着预处理辅助功能。当来自系统内存和网络的视频或图像数据进入昇腾AI处理器的计算资源中运算之前，由于Davinci架构对输入数据有固定的格式要求，如果数据未满足架构规定的输入格式、分辨率等要求，就需要调用数字视觉处理模块进行格式的转换，才可以进行后续的神经网络计算步骤。 功能架构 数字视觉预处理对外提供6个模块，分别为视...
如何mysql数据导入到mongdb
最新发布
codemami的博客
05-30 1242
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
failure in initial user-supplied objective function evaluation. fmincon cann
09-09
"初始用户提供的目标函数评估失败。fmincon无法处理该问题。" fmincon是MATLAB中一个用于非线性最小化的函数，它通过优化算法寻找目标函数的最小值。然而，在初始阶段，如果用户提供的目标函数评估失败，即无法得到一个有效的值，fmincon函数无法继续处理。 造成初始用户提供的目标函数评估失败的原因可能有很多。可能是目标函数本身存在问题，例如计算错误或未定义部分。可能是用户提供的初始参数无效，无法正确传递给目标函数进行计算。也可能是其他外部因素导致了目标函数评估的失败，例如计算资源不足或输入数据错误。 解决该问题的方法包括： 1. 检查目标函数本身的实现，确保其计算正确，并且可以在给定合法参数输入时返回有效结果。 2. 检查用户提供的初始参数，确保其有效性，并且能够正确地被传递给目标函数进行计算。 3. 检查可能导致目标函数评估失败的外部因素，例如计算资源问题或输入数据错误，并进行相应的修复。 总之，在使用fmincon函数进行优化时，如果出现"failure in initial user-supplied objective function evaluation. fmincon cannot continue."的错误提示，需要仔细排查以上可能造成问题的原因，并进行相应的修复，以使得目标函数能够成功进行评估和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值