语音之家SOTA | TIOBE 场景测试：电台节目 张震鬼故事

SpeechIO TIOBE Benchmark

场景测试：电台节目 张震鬼故事

1、素材来源

YouTube 抓取“张震鬼故事” 往期节目，原始音频约3小时

2、场景特点

• 环境

  • 播音间，周围环境安静

  • 节目制作实时&后期混入各种配乐及恐怖音效

  • 噪声非平稳，且音量较大

• 拾音设备

  • 专业麦克风，近场录制

• 说话人

  • 张震

• 说话方式

  • 语速忽快忽慢

  • 说话方式刻意营造阴森恐怖，与日常讲话方式有很大不同

  • 语调变化快，情感起伏大

• 方言

  • 无方言

• 内容领域

  • 恐怖故事，心里描绘

3、测试结果

测试时间：2021.10

本场景会进行定期重测（3个月），关注最新滚动测试报告查看最新结果。

Company	Platform	Accuracy(%) = 1-CER
AISpeech	思必驰	94.35
Alibaba	阿里云	92.96
Baidu	百度智能云	89.87
iFLYTEK	讯飞开放平台	90.98
Microsoft	Azure	90.73
Sogou	AI开放平台	94.45
Tencent	腾讯云	92.53
YITU Tech	语音开放平台	95.46

* 讯飞目前被低估，详见(SOTA)

4、简评

据标注合作方反馈，负责标注和质检的女同学们在处理本期素材时被吓得不轻 ：）

历史评测系列：

发布日期	文章
2020.03	引篇
2020.04	Specification & Guideline
	场景：新闻联播
	场景：访谈节目 鲁豫有约
	滚动测试报 2020.04
2020.05	场景：天下足球 世界杯往事
	场景：场馆演讲 罗振宇跨年演讲
	场景：李永乐老师 在线讲堂
	滚动测试报 2020.05
2020.06	场景：直播 王者荣耀 张大仙&骚白
	场景：直播 带货 李佳琪&薇娅
	场景：线下培训 老罗语录
	滚动测试报 2020.06
2020.07	标注修复：直播&老罗
	滚动测试报 2020.07
2020.08	场景：播客 故事FM
	场景：播客 创业内幕
	滚动测试报 2020.08
2020.09	场景：在线教育 罗翔 刑法法考
	场景：在线教育 张雪峰 考研
	滚动测试报 2020.09
2020.10	场景：短视频 电影剪辑 谷阿莫&牛叔说电影
	场景：短视频 美食 贫穷料理&琼斯爱生活
	指标："当我们谈SOTA时，我们在谈论什么?"
	滚动测试报 2020.10
2020.11	场景：评书 单田芳 白眉大侠
	场景：相声 德云社专场
	场景：脱口秀 吐槽大会
	滚动测试报 2020.11
2020.12	场景：少儿卡通 小猪佩奇&熊出没
	滚动测试报 2020.12
2021.01	场景：体育赛事解说 NBA
	场景：纪录片 篮球人物
	滚动测试报 2021.01
2021.02	场景：经济 金融 货币
2021.04	场景：短视频 汽车之家 汽车评测
	场景：短视频 小艾大叔 豪宅带看
	滚动测试报 2021.04
2021.07	场景：短视频 产品开箱视频 Zealer&无聊开箱
	场景：短视频 付老师 农业种植
	场景：短视频 线下培训 石国鹏 古希腊哲学
	滚动测试报 2021.07
2021.10	场景：张震鬼故事
	场景：华语大学生辩论赛
	场景：同声传译现场 时政
	滚动测试报 2021.10

开源评测平台 Leaderboard：

发布日期	文章
2021.04	Leaderboard 开源测试平台发布
2021.08	加入开源 Kaldi 预训练模型 Kaldi-multicn
	加入 AISHELL-1 测试集
	加入 AISHELL-2 测试集
	加入开源 WeNet-multicn 模型