基于视频流传输 — 在线教育白板技术

在线教育不同于线下教育， 内容需要经过电子白板展现给用户，如何做出优秀的在线教育白板成为研究的重点。本文来自学而思网校客户端架构负责人赵文杰在LiveVideoStackCon 2018大会上的分享，并由LiveVideoStack整理而成。

文 / 赵文杰

整理 / LiveVideoStack

大家好，我是来自学而思的赵文杰，现就职于学而思网校并担任架构师的工作，接下来我将为大家分享互动白板在在线教育上的应用。

今天的话题主要围绕在线教育，也就是如何借助技术的力量将知识更生动地传递给学生，其中一种方式是电子白板。可以说电子白板在在线教育领域起着举足轻重的作用，学而思网校今年的学员数量已达到百万级别，在电子白板相关领域积累了一定的实践经验。

本次我将围绕相关实践经验和以下几个方面进行分享。

1、在线教育的形式

 

在线教育主要分为大班课与小班课两种形式，大班课的核心成员由一位主讲老师与若干位辅导老师组成。“线上主讲+线下辅导”也是近两年在线教育较为成功的模式之一，甚至在一些方面超越了公办教学的传统课堂模式。我们可以把一堂大课分为多个小班并为其各配一位辅导老师而共用一位主讲老师，包括学而思、腾讯课堂、学霸君在内的诸多在线教育平台主流采用此种模式，也验证了其盈利模式的可行性；小班课是指一位老师给一位或几位学生辅导学习，有的一个老师对六个学生就已经很多了。对家长而言，小班课的价值在于个性化定制教育与专业服务，如大家较为常见的51Talk、Vipkid等基本都是采取此模式。这里需要强调的是大班课与小班课之间费用的差距很大，大班课一般为几千而小班课几乎都要上万。

与传统游戏直播等领域的思路不同，由于对互动性与课堂表现形式的要求更高，在线教育中内容表现的重要性更大。在线教育白板主要有以下两种展现形式：视频流传输或素材传输。2015年之前，受限于宽带性能，国内的大多数在线教育平台都基于素材传输，其优势在于可稳定缓存所需资源。如需要PPT那么服务器首先将PPT转成图片形式，学生进入课堂后以下载离线文件的形式获取PPT，国内如沪江英语、中公教育等都是采用上述素材传输模式；2015年之后，学而思网校开辟了基于视频流传输的白板展现形式，首先将丰富的视觉内容融融入白板，在通过图像合成等技术完成视觉优化后再进行传输。其优势在于强大的扩展能力与可被保证的视频内容准确性和严肃性。

1.1 视频流传输和素材传输的优缺点

 

基于视频流与基于素材各自优劣明显，主要在码率大小、提前预缓存、传输内容丰富度、扩展性四个方面。基于视频流的传输，码率与分辨率一定是核心参数，分辨率与清晰度的提升意味着码率的增大；而基于素材的传输其码率基本不变，除了需要传送声音与老师头像用以保持课堂教学之外，其他数据流所占码率的比例很低。基于视频流的实时传输不需要提前预缓存而基于素材的传输需要学生提前进入网页用以加载上课素材，这就导致在传输内容丰富度上基于视频流的传输要远优于基于素材的传输。例如老师想为学生呈现一段动态素材，对基于素材的传输而言需要进行素材上传等步骤，无疑是困难而繁琐的；而对基于视频流的传输而言只需借助离屏渲染等技术从显卡中抓取相应素材片段并与原始视频画面混合后直接推流即可完成。而在扩展性上基于视频流的传输由于只需抓取目标素材与整合画面，无论素材是二维还是三维都可通过内容整合将混合后的画面直接呈现给观众，并且其背后的运算压力均被推流端所承担，有效降低了客户端的运算复杂性，从而保证了整个平台的稳定性与良好的用户体验。

1）基于视频流传输

 

上图展示的是基于视频流的传输流程。首先，电子白板通过图像抓取技术获得目标图像并将其传输至解码器，其中的图像抓取主要通过抓取桌面或抓取窗口，但这两种方式都不算效率最优的，最佳方案是直接从显卡缓冲区中抓取相应数据，此方案被广泛运用于借助OBS录屏的应用场景如游戏直播等，因为OBS整合了HOOK显卡的API，可轻易获