技术的积累非一日之功。本技术周刊专栏每一周到两周时间更新一次。内容包括：精品博文教程推荐；新技术的发布和更新报道；重大事件的报道点评；个人感想等。兴趣领域包括：数学，算法，图形，图像，音视频，AI，游戏，软件开发技术，操作系统，开源等。“不积跬步，无以至千里；不积小流，无以成江海。”希望与君共勉。
1. 音视频
1.1 DirectX 12发布新功能：视频硬件编码
之前版本的DirectX12已经支持了视频解码，视频处理和运动估计。DirectX12的视频编码API支持两种格式的编码帧DXGI_FORMAT_NV12 和 DXGI_FORMAT_P010。支持两种编码标准H264和HEVC。具体是否支持跟硬件有关，需要使用接口 ID3D12VideoDevice::CheckFeatureSupport 检查。DX12的视频编码API给了程序员足够的自由度来控制编码过程和编码器的各种参数设置，比如：编码过程中参考帧的纹理资源管理需要自己实现。此外，视频编码API已经包在了Windows 11系统中，或者可以通过DirectX 12 Agility SDK获取。
1.1.1 DirectX 12 Agility SDK
过去DirectX团队通过Windows 10系统更新来更新最新的功能，但是游戏开发人员更希望不需要更新操作系统就能获取到最新的DirectX 12功能。这就是DirectX 12 Agility SDK存在的意义。
1.1.2 参考
- https://devblogs.microsoft.com/directx/announcing-new-directx-12-feature-video-encoding/
- https://devblogs.microsoft.com/directx/announcing-dx12agility/
- https://docs.microsoft.com/en-us/windows/win32/medfound/direct3d-12-video-overview
1.2 AMF v1.4.23版本更新
AMF是AMD提供的视频编解码和视频处理硬件加速SDK。v1.4.23.0版本新增功能：
- 新的Auto LTR编码模式
- FFmpeg更新到4.3.2
- 编码器提供了更多的统计数据和反馈。
- 新的编码器预设
- 支持HEVC编码器Main 10 profile
- 支持选择编码实例
1.2.1 参考
- https://gpuopen.com/advanced-media-framework/
- https://github.com/GPUOpen-LibrariesAndSDKs/AMF
1.3 技术干货 | 视频直播关键技术和趋势
原文：https://mp.weixin.qq.com/s/kNK8S-bRUMOQAXZ8Ntx54Q
本篇文章讲解了网易云信视频直播所用到的一些关键技术。包括：
1.3.1 媒体处理
- 主播端处理。
- 常规的图像增强处理方法在视频预处理环节依然发挥着主流的作用，比如降噪、补偿、平滑、锐化、图像增强（饱和度/对比度）等等。
- 如何提高视频编码压缩效率是业界面临的主要挑战之一
- 云端处理。为了输出单路媒体流需要将多路媒体源进行混屏混音、为了支持多种码率或编码格式需要进行转码（转换分辨率、码率或编码格式）等，甚至为了支持一些个性化的需求还要实现添加水印、生成字幕、数据加密等扩展能力。
- 播放端处理。图像增强技术和超分辨率技术
- 基于 AI 的超分技术相比传统的基于差值或重构的计算方法，在超分效果上具有巨大的优势。由于播放设备机型品类繁多、算力良莠不齐，播放端的媒体处理能力和播放实时性都受到了较大的影响。常规的解法是为播放端 SDK 设置一份机型白名单，SDK 只能在指定型号的设备上对媒体数据进行渲染播放前的有限优化处理，而对于算力要求较高的 AI 超分技术，则几乎绝迹于各种智能移动播放设备。
1.3.2 媒体传输
- 传输协议。
- RTMP、 HTTP+FLV 以及基于 HTTP Adaptive Streaming（HAS）技术的协议，如 Apple HLS、Adobe HDS、MPEG DASH 等
- QUIC 协议设计了一个基于 UDP 的多路复用且安全可靠的传输机制，为应用程序提供了区别于传统流式传输协议的重要特性
- 选择合适的拥塞控制算法对提升传输效率、降低传输延时尤为重要。BBR 基于传输带宽和往返时延估计的拥塞发现机制更加与时俱进，更适用于新时代的互联网基础设施部署环境。
- 传输网络
- 公网
- CDN（Content Delivery Network）是一种在互联网中被广泛使用的网络基础设施。
- RTN（Realtime Transmission Network），顾名思义，就是设计用于提供实时数据传输能力的大规模分布式网络传输系统。
- 网易云信自研推出了新一代大规模分布式传输网络，即WE-CAN（Communications Acceleration Network）。
1.3.3 技术趋势
- 低码高清
- 降低延迟
2. 游戏开发与图形学
2.1 如何在UE4中使用 AMD FSR 1.0
原文： https://gpuopen.com/learn/ue4-fsr/
这篇文章介绍了如何在UE4中安装和配置AMD FSR插件的方法。FSR是AMD出品的开源的超分辨率解决方案。它可以让游戏在1080p的低分辨率下进行游戏的渲染，然后使用FSR算法提升到4K画质。这样既节省了计算资源，提高了帧率，又可以达到媲美原生4K分辨率的画质，具体能否真的媲美还有待市场的检验。AMD FSR技术直接和NVIDIA的DLSS技术对标。
2.2 GPU性能分析工具Radeon GPU Profiler和GPUView
原文：https://asawicki.info/news_1747_understanding_graphs_in_gpuview_and_rgp
GPU性能分析工具对于分析和优化GPU的性能是至关重要的。这篇文章介绍了如何使用专门针对AMD GPU的分析工具。以Radeon GPU Profiler(RGP)为例，它可以抓取Direct3D 12或Vulkan的数据。从分析图中可以跟踪到某个GPU操作什么时候进入命令队列，什么时候开始执行以及执行完花费了多少时间。
虽然文章中提到了GPUView，但是这款工具已经比较老了。我更推荐使用微软最新的的分析工具PIX，也是一款不错的性能分析工具。可以看到DirectX12的命令队列，查看显存中的数据，GPU命令执行时间等详细参数。
2.2.1 参考
- https://devblogs.microsoft.com/pix/
- https://devblogs.microsoft.com/pix/download/
3. 计算机视觉
3.1 视频精修一帧要花2小时？美图影像研究院的AI只要5.3毫秒！
原文： https://mp.weixin.qq.com/s/X1PzPga3lqY5x1rnKFWy6g
传统磨皮算法其本质是由各类高通滤波算法和图像处理算法组合而成，通过滤波核的大小来实现人像的瑕疵祛除和肤质光滑。但经传统磨皮算法处理后导致的五官与皮肤纹理细节缺失容易形成明显的「假脸」 效果。
美图影像研究院（MT Lab）自研基于深度学习的实时视频美容方案。通过设计轻量的神经网络生成式模型，结合强大的美图AI推理框架（Manis）和千万级人像图库训练优势，实现对动态视频人脸的瑕疵修复与暗沉祛除，同时最大程度地保留了皮肤的真实纹理细节。
轻量级结构设计策略
- 不使用大于 3x3 的卷积核，下采样使用 stride=2 的 3x3 卷积替代，因为 3x3 卷积的计算速度远高于其他大核卷积。
- 模型中最大通道数不大于 64，以减少大尺寸 feature map 的计算量。
- 网络输入尺寸在不影响效果的前提下尽可能地缩小。同时，一定程度上减少输入宽度，而不是使用 1:1 的输入比例，因为人像两侧存在与美颜无关的背景区域，要避免增加额外的计算量。
- 上采样使用最近邻插值加 3x3 卷积替代反卷积和双线性插值，以便于加速。
- 非必要情况下尽量采用简单的单路架构，只在 stride=2 卷积后加入 Concate 分支，因为 Add 或者 Concate 操作虽然计算量很小，但是 MAC 很高；同时，网络不使用 ResBlock，以节省内存占用。
为保证不同档位的移动端产品均能获得最佳体验效果，MT Lab 通过 Manis 的天枢平台系统为不同机型的设备能力下发定制的美化模型与 AI 配置，再通过 AI 推理框架（Manis）调度选择最优算力执行推理过程，从而既能保证低端算力设备达到实时效果，也能实现高端算力设备更优品质的画质表现。
最后介绍了美图优化加速器— —AI 推理框架 Manis的架构，各个模块的功能，以及在不同平台上的性能，可谓干货满满。对于AI模型的部署和逻辑具有实际的经验上的借鉴和一定的指导意义。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
