LiveVideoStackCon 2017 Day 2 专场回顾 —— App 新科技专场
多媒体与浏览器专场可戳这里:LiveVideoStackCon 2017 Day 1 专场回顾 —— 多媒体与浏览器专场。
这篇内容主要针对 App 新科技专场,进行主要内容回顾。
其中上午场的分享有:Hulu 傅德良带来的《流媒体服务质量和用户体验优化》,阿里巴巴江文斐带来的《优酷窄带高清实战》以及北京密境和风(花椒直播)唐赓带来的《直播场景下新技术的应用》;下午场的分享有:网宿科技孙磊带来的《VR 视频窄带高清技术探索》,欢聚时代(YY)冯迅带来的《媒体实时传输系统及其优化》以及 PPTV 王斌带来的《全平台硬件解码的渲染优化》。现在,让我们一起来看一看。
第一场:《流媒体服务质量和用户体验优化》 Hulu/傅德良
首先是 Hulu 视频系统简介
介绍了 Hulu 的终端是多平台的,包括 Web 端,移动端,电视端。
介绍了 Hulu 的视频内容是 “点播 + 直播” 的方式,包括:电视、电影、自制剧、体育节目……
介绍了 Hulu 的商业模式:注册用户 + 付费
接着介绍了流媒体服务质量和用户体验
流媒体服务质量(QoS)
流媒体用户体验(QoE)
流媒体服务质量与用户体验
最后介绍了流媒体服务质量与实践
码率自适应算法
数据驱动
线下论证
测试离线平台
线上实测
优化结果
第二场:《优酷窄带高清实战》 阿里巴巴/江文斐
首先介绍了业界关于体验公开的秘密
接着介绍了窄带高清 2.0 与 1.0 的区别
数据对比:
什么是窄带高清:
窄带高清 1.0:
窄带高清 2.0:
人眼厌恶什么:
最后介绍了实战
第三场:《直播场景下新技术的应用》 北京密境和风(花椒直播)/唐赓
首先介绍了直播的组成部分
- 底层支持
- 秒开、265、网络自适应……
- 超大聊天室IM、私信、群组……
- 直播、连麦、单聊、群聊……
- 上层展现
- 标配的美颜、滤镜、瘦脸、大眼、人脸识别贴纸、3D 头盔……
接着介绍了直播还可以发力的地方
Augment Reality
- Face landmark (第一个将人脸识别应用于直播中,CPU 消耗非常大,但已控制在10%以内,7+)
- ARKit/ARCore/SenseAR……(CPU 资源消耗 160%)
- IMU
- Hand Pose/Body pose
应用场景:AR 互动直播、AR 3D 广告动画、AR 平面广告
Computer Graphics
- OpenGL/Metal
- Unity
- Unreal Engine
- SceneKit
- Cocoa2d-x/Crystal Space/Blender Game Engine
- 自制引擎
Computer Version
- OpenCV
- Dlib
Machine Learning
- 前台功能
- 后台功能
- 各种网络结构
- 深度窥视深度学习
第四场:《VR 视频窄带高清技术探索》 网宿科技/孙磊
Part 1: 背景介绍
首先对 VR 视频进行了简单的介绍,接着对现在存在的难点进行了分析。
主要难点有:
- 采集、观影设备价格高
- 清晰度、晕眩、效果差
- 为获得较好观影效果,所需码率高
Part 2: 技术详解
- 采集拼接
- 立方体投影
- 按需传输
- H.265
- P2P
- 延时优化
- 传输优化
Part 3: 效果展示
最后展示了各种优化后的效果:
带宽:
延时:
第五场:《媒体实时传输系统及其优化》 欢聚时代(YY)/冯迅
Part 1: 实时可靠传输的重要性
首先介绍了直播过程中,实时可靠传输的重要性。
Part 2: 不实时、不可靠的因素
接着介绍了不实时、不可靠的因素。其中包括:时延、丢包、时延抖动。
Part 3: 直播传输网络架构演变
- 架构演变前:主播和观众共享一套系统
- 架构演变后:突出主播和观众差异化,侧重不同技术点
Part 4: 实时、可靠性优化
- 在哪?选哪?
- 传输策略
- 多路聚合
- 网络加速
Part 5: 与 CDN 结合案例
一点点小福利:
第六场:《全平台硬件解码的渲染优化》 PPTV/王斌
Part 1: 常规方法渲染硬解数据的问题
- 常规的 OpenGL 渲染(软解)
- 硬解的 OpenGL 渲染
- 常规方法渲染的数据流
- 理想的硬解数据流
- 常规方法渲染的数据流
Part 2: 硬解纹理转换一般思路
Part 3: D3D11 转 OpenGLES 纹理
Part 4: macOS、iOS 纹理转换及统一
Part 5: Android 硬解渲染及常见难题解决
❤️ 另外还有一篇文章,是关于多媒体与浏览器专场的,你可以戳这里:
LiveVideoStackCon 2017 Day 1 专场回顾 —— 多媒体与浏览器专场