探索期啊啊啊

视频行业的发展

发展趋势：

云 + 端 +服务

• 云 laas paas saas 私有云 公有云
• 端 手机 PC Web IOT设备
• 服务 传统的短信、语音、IM、音视频、呼叫中心等，云客服与附加AI的服务

视频分辨率提升 720p 1080p 4k 8k
帧率 30 60 120 160
色域 10-bit RGB、12-bit RGB、16bit-RGB

由视频引出来的一些问题

• 优异的音视频服务体验一定需要高质量的网络与充裕的带宽作为海量数据传输的基础保障。
• 网络 丢包率 抖动 带宽
• 用户体验涉及到 视频文件采集 前处理 编码 网络传输 解码 后处理 渲染 整个过程需要经过一个包含端、服务器、主干网络、WLAN、Cellular等等元素在内的冗长链路

编码问题

编码标准 主流H.264 AV1 VP8、VP9高性能编码方案
考虑用户场景的需求不同
点播 注重效率
直播 传输速率 视频编码速度、码率稳定性与容错能力
实时通话 非常高的视频编码速度、码率稳定性与容错能力
指定不同的编码方案

内容自适应编码则是当下一个较为流行的技术趋势
视频的分辨率、码率、帧率等参数会随着应用场景的不同而做出变化，只增加一种参数不会是视频质量一直提升。
自适应编码 为了进一步提升内容自适应编码的准确，我们需要细化模型分析与处理的精度。从对每一类别视频进行大致考量到对每一种场景与主题内容进行归纳分析，从视频段继续细化至块甚至帧级别，随着模型精度的不断提升与内容自适应编码的不断深入，其对视频质量与用户体验的优化也在不断提升

评价视频质量好坏的客观指标，PSNR SSIM与MS-SSIM VMAF 其原理是在支持向量机回归因子中对一些基本指标进行融合 Facebook曾提出一种被称为FBMOS的视频质量客观指标，并不意味着某一种指标就绝对适合或性能优秀。针对不同使用场景与应用环境的各种视频质量客观指标百花齐放，我们应当根据应用场景特点与视频类型选取最适合的评价指标并随时做出优化与调整才能获取最为客观准确的质量评价结果。

编码优化

Video Saliency Encoding 视频显著编码
此技术多用于VR、全景视频等视频规格更高且对实时性要求更严的场景，通过对高显著区域的编码重点优化、视频质量强化以及码率的科学调配，优先保证视觉重点区域画质与流畅度，从而提高带宽资源利用效率，使用有限的网络资源提供最优质的音视频服务体验

Video ROI Encoding 基于感兴趣区域的视频编码技术
基于主观判断结合机器学习实现的视频重点区域编码优化

媒体网络架构

常用的媒体网络构架分为MESH、MCU与SFU三种