【MindStudio训练营第一期】【昇腾AI训练营新手班学习笔记】大作业

本文链接：https://blog.csdn.net/nameNOTbad/article/details/128364657

介绍

大作业：使用MindStudio成功复现昇腾社区中的MindX SDK应用案例

选题：黑白图像上色 https://www.hiascend.com/zh/developer/mindx-sdk/case-studies/d0c56d6f-a6f9-4b77-8587-db8272f22f3b

在这里插入图片描述

步骤

运行

使用MindStudio打开下载到的工程文件
创建data、model、out文件夹
准备测试图片

这里从网上随机下载了一张照片，并用ps去色处理了一下，路径 data/test.png
使用Tools->Deployment->Upload to将工程文件上传到服务器
cd到项目根目录

下载model文件并解压缩

cd model
wget https://c7xcode.obs.cn-north-4.myhuaweicloud.com/models/colorization_picture-python/dog.png --no-check-certificate
unzip model.zip

带上–no-check-certificate参数否则会报错

转换模型，得到coloriztion.om文件
```
cd ../scripts
bash atc_run.sh
```

运行

cd ../src
python3 main.py ../data/test.png

使用Tools->Deployment->Download from工具下载回本地

运行结果：(out_test.png)

原图：
增加二次元浓度再试一次

太为难这个模型了!

工程代码阅读

初始化StreamManagerApi并加载pipeline文件

    streamManagerApi = StreamManagerApi()
    ret = streamManagerApi.InitManager()

    pipeline = b"../pipeline/colorization.pipeline" 
    ret = streamManagerApi.CreateMultipleStreamsFromFile(pipeline)

传入数据

    st
    reamName = b'colorization'
    inPluginId = 0
    key0 = b"appsrc0"
    protobufVec = InProtobufVector()
    protobuf = MxProtobufIn()
    protobuf.key = key0
    protobuf.type = b'MxTools.MxpiTensorPackageList'
    protobuf.protobuf = tensorPackageList.SerializeToString()
    protobufVec.push_back(protobuf)

    uniqueId = streamManagerApi.SendProtobuf(streamName, inPluginId, protobufVec)

将图像L通道的数据写入tensorVec中，用SendProtobuf发送给appsrc0元件

取出结果数据

    key1 =  b"mxpi_tensorinfer0"
    keyVec = StringVector()
    keyVec.push_back(key1) 
    inferRes = streamManagerApi.GetProtobuf(streamName, inPluginId, keyVec)

合成上色后的结果图

    tensorList = MxpiDataType.MxpiTensorPackageList()
    tensorList.ParseFromString(inferRes[0].messageBuf)
    
    res = np.frombuffer(tensorList.tensorPackageVec[0].tensorVec[0].dataStr, dtype=np.float32)
    
    postprocess(res, inputPic, origShape, origL)

流程编排

从代码阅读中可以看出，图像的前处理和模型后处理都在Python代码中完成了，整个pipeline流程仅包含一次推理，加上输入输出
输入appsrc：设置block size为合适大小，案例中设置了409600
模型推理:设置模型文件路径…/model/colorization.om;同时还手动指定了dataSource为appsrc0
输出appsink, block size大小与输入元件一致

改一行

尝试给视频上色，仅需代码部分改一行，流程编排部分不需要改动

    seq_list = []
    temp_list = []
    vc = cv.VideoCapture('../data/test.mp4')
    c = 0
    rval = vc.isOpened()
    while rval:
        c = c + 1
        rval, frame = vc.read()
        if rval:
            cv.imwrite('../data/'+str(c) + '.png', frame)
            seq_list.append('../data/'+str(c) + '.png')
            temp_list.append('../out/out_'+str(c) + '.png')
        else:
            break
    vc.release()

    for pic in seq_list:
        run(pic, streamManagerApi) #此处是原先代码中流的输入输出部分
        os.remove(pic)

    videoWriter = cv.VideoWriter('../out_video/out_test.mp4', cv.VideoWriter_fourcc(*'mp4v'), 30, (1280, 720))
    for pic in temp_list:![请添加图片描述](https://img-blog.csdnimg.cn/b604ee76101e489397a74904ff8ec0d1.gif)

        img = cv.imread(pic)
        img = cv.resize(img, (1280, 720))
        videoWriter.write(img)
        os.remove(pic)
    videoWriter.release()