冬奥AI手语主播亮相，人工智能技术助力跨越声音障碍

万众期盼的2022年北京冬奥会即将举行，这是中国历史上第一次举办冬季奥运会。在关注冬奥会的观众中，有一个特殊的群体，他们听不到赛场的声音，但他们关注着冬奥赛事，希望了解比赛动态，渴望感受比赛的激情，全球约4.3亿人有中度及以上程度的听力障碍，根据全国第二次残疾人抽样调查数据，中国有听障人士2780万。

用技术跨越声音障碍

“从北京冬奥会开始，我将全年无休用AI智慧为听障用户提供手语服务，让他们快捷的获取比赛资讯！”

11月24日，央视新闻推出的央视总台首个AI手语主播正式亮相——她有着真人般的皮肤、头发、眼睛，形象亲切自然，气质优雅独特，从表情、口型、毛发、服饰身形五大维度打造3D高精超写实的数字人AI模型，也让AI驱动的数字人表情则更加亲切自然。

图片

据介绍，AI手语主播采用语音识别、机器翻译等人工智能技术，构建了一套复杂而精确的手语翻译引擎，可实现由文字及音视频内容到手语的翻译，再通过专门为手语优化研发的自然动作引擎，进行虚拟形象的驱动。这些技术使得AI手语主播具备高可懂度的手语表达能力和精准连贯的手语呈现效果。

此次央视AI手语主播的亮相，是人工智能对人类的反哺，是一个科技发展带来的温情脉脉的时刻，人工智能发展越来越快，也越来越有温度了。

为了能让更多的AI主播为更好的特殊群体服务，身为全球领先的人工智能数据服务商，数据堂义不容辞，我们量身定制了一系列数据集，可快速提高AI主播的表达能力，助力人工智能反哺人类。

手语手势数据集

AI主播想要准确、自然的表现手语，光是学习《国家通用手语词典》是远远不够时，《国家通用手语词典》只能提供正确的手语手势，要想让AI主播摆脱机械感，更加接近真人的手语表达，那么，AI主播还需要学习更多真人的手语手势。

手语手势识别数据集

该数据集包括多种场景、40余种静态手势、近百种动态手势、多种拍摄角度和多种光照条件 ，标注21关键点、手势类别标注、手势属性标准确率95%以上，该数据可用于手势识别，手语翻译等任务。

唇型同步多模态数据集

除了手语要准确，唇型也得要准确，AI主播如果不针对性的进行唇型同步的学习，在正式进行新闻播报的时候，会出现唇型和声音匹配不上的问题，为了解决这个难题，数据堂采集了行业领先的唇型同步多模态数据集，可快速调高AI主播唇型准确率，实现声音与画面的精准匹配。

唇型同步多模态数据集

近500人参与录制语音以及相匹配的唇语视频，多设备同步录制，通过脉冲信号进行精准对齐，准确性高。可用于语音图像领域的多模态学习算法研究。

TTS语音合成数据集

AI主播合成的语音如果更接近真人且感情表达丰富，那么观众会觉得这不是一个冷冰冰的机器，而是一个有感情的“人”，会更容易接受AI主播的存在，让观众的注意力从AI主播身上，转到新闻内容上。

中文女声情感合成库
由中文母语发音人录制，六种情感文本，语料音素覆盖均衡，专业语音学家参与标注，字准确率不低于99.9%，句准确率不低于99%，句准确率不低于98%，精准匹配语音合成的研发需求

随着AI技术的更迭和进化，3D虚拟场景不断拓展，AI主播的工作空间会更大，也许不久AI主播会走出演播室，在不同场景中更好地满足新闻呈现多样化的需求，实现科技改变生活，技术反哺人类。