宋利：编码既是技术也是艺术

责编 / Ant

“好为人师，博而不精，杂而不纯。”——宋利。

收到对宋利的采访邮件，正文开始是一段自嘲，让原本枯燥的技术采访变得生动。相比于之前几个采访，本文的信息量更大，不得不对严谨的学术界敬佩三分。本文是『下一代编解码』系列采访的第6篇，邀请到了上海交通大学任研究员，博士生导师宋利，他全面的解读了编解码器的现状与未来趋势。

LiveVideoStack：请简要介绍下自己，以及目前主要的工作方向，对哪些技术或领域感兴趣？

宋利：谢谢邀请。我目前在上海交通大学任研究员，博士生导师，研究方向是视频编码、图像处理与计算视觉。了解上海交通大学多媒体实验室，可以访问这里 http://medialab.sjtu.edu.cn

我属于兴趣广泛型的，对各类奇技都心生好奇。就视频而言，从视频生产、分发到消费，整个链路的相关技术都会留意，近期关注点有：

1. 视频生产(production)： UHD/HDR，360VR等新型视频内容的采集、加工、合成技术； 基于人工智能的视频处理技术；Video over IP；云化媒体生产系统；

2. 视频分发(distribution/delivery)：新型编码标准/技术、混合云+边缘媒体处理架构，低延迟传输相关协议和技术(CAMF、WebRTC、HTTP2）

3. 视频消费(endpoint)：新型视频播放器/终端软件，支持跨屏同步，动态渲染(VR)、强交互(AR)和AI

4. 视频体验评价(QoE)，视频内容保护(DRM)等，如区块链和媒体服务的联姻。

关于编解码器

LiveVideoStack：什么样的编解码器是一个好的编解码器？视频质量、码率、算法复杂度、对数据丢失或错误的鲁棒性等。

宋利：当我们评价一个东西是好或者不好，首先需要给出一个测度。从广义上看，编解码器的测度是多个维度的函数，维度包括：压缩效率（即码率和质量）、算法复杂度（时间、空间复杂度）、实现复杂度（平台支持能力、技术人员市场占比）、系统指标（可并行性、可扩展性、延迟大小、抗误码能力）等。由于这些维度之间是互相制约的，实际研发中只能取主要维度而牺牲其他方面，取得某种平衡。比如在视频内容生产领域用的JPEG2K、TICO等编码器，就强调低复杂度，压缩比并没有分发领域的HEVC、H264等高。再比如H264编码器，会分为不同的profile或类型，直播编码器码率通常是离线编码器1.5到2倍，就是为了降低延迟而牺牲了压缩效率。

L