亮眼看视界

low-level 的视觉模型要在生产环境的服务端部署使用，还是有一些工作要做的。当然，本文不涉及在移动端的部署，我理解移动端模型部署很核心的工作是模型压缩(量化、枝剪和蒸馏)，这块我涉及不算很深入，只搞过一点量化和枝剪，就不展开描述了。3.2.1 推理框架主要试了三个推理框架：阿里的MNN、facebook的libtorch和nvidia的TensorRTa. MNNMNN相对而言成熟度稍差些，优势是开源，有问题可以自己看代码，甚至做一点点修改，我在windows上跟MingW32结合编译

三 画质增强的AI增强实践画质增强处理从方法上可以分为传统方法和深度学习(AI)方法，他们是互相补充的关系，传统方法相对而言性能会好些，AI方法吃GPU、吃算力，很多课题AI方法效果远非传统方法科比，典型的如超分、超帧(频率上采样)、补全、降噪等等，这篇重点介绍AI方法的超分实践，主要分三部分：训练、推理和应用3.1 训练3.1.1 超分主干网络对超分历年比较经典的主干网络做了一次梳理和调研，如下图这个梳理和调研还是有非常大价值的，然后把他们预训练模型用自己真实场景的素材跑一遍看

二 画质增强应用场景画质增强应用场景是非常广泛的，本质上，“谁会嫌画质太好了呢”，随着传输、显示等基础设施和硬件的进步，画质增强的应用一定会越来越光放，我这里只是简单介绍一下几个典型场景2.1 实时增强实时增强主要形态可以分为直播实时增强和RTC增强2.2 长视频增强-老片修复2.3 短视频增强2.4 监控视频增强...

一 什么是画质增强1.1 定义所谓画质增强，就是综合运用传统数字图像处理和新兴的深度学习等算法工具，修复图片或视频中存在的各种画质问题，让用户有更好的视觉观看体验1.2 常见的画质问题及修复工具模糊(各种模糊，如运动模糊、镜头失焦等) -> 锐化/去模糊分辨率低 -> 超分辨率(简称超分)卡顿/帧率低 -&g...

传统方法和AI方法是一个互相补充的关系，要看具体的场景和视频类型，一般而言，传统方法性能上相对比AI方法更好些，对算力要求相对低一些，成本上自然也更低传统方法的保边滤波(如导向滤波等)、锐化、对比度增强等很多时候都有比较好的效果，在视频转码服务中使用适当的话往往会有非常好的收益(主观画质提升、码率大幅下降等)，不过这些算法网上介绍的都很多了，在此不再赘述4.1 去划痕算法介绍先看效果：上半部是原始图片，下半部是处理过的效果，可以看出来划痕消除还是比较明显的，下面介绍算法实现过程a.

low-level 视觉任务输入输出一般都是RGB数据，那么在生产环境，除非在移动端增强后直接显示，否则基本是需要对数据进行压缩，然后存储或者传输。服务端的增强服务，多数是把增强服务封装为ffmpeg 的一个 video filter 来使用更方便一些3.3.1 video-enh c sdk首先是将推理模块封装成 c SDK，该SDK中包含 opencv 和推理引擎 TensorRT 的调用，不过经过封装后，暴露的接口建议是纯C接口，因为 ffmpeg 不支持 c++ 风格的头文件，相对而言，c