语音之家SOTA | TIOBE 滚动测试报 2021.10

SpeechIO TIOBE

ASR Benchmark

滚动测试报告 2021年10月

1、更新日志

最新更新日期:2021-10

    • 场景:增加 [播客 故事FM]

    • 重要修复:发现 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录] 三个场景测试集标注错误,全面检查&修正;作废这三个测试集6月的测试结果,7月开始启用修正后的测试集。详情见本月已经发布的[更正说明文章]

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年6月:

    • 场景:增加 [直播带货 李佳琪薇娅] [直播王者荣耀 张大仙骚白] [老罗语录]

    • 厂商:增加 阿里+ ,为阿里云新算法的试用版; 测试中取消[谷歌], 因谷歌的中文识别性能没有参考性,且费用超过其余各家之和。

    • 更名:原搜狗知音平台 改名为 搜狗AI开放平台

    • 测试:全厂商 × 全场景 滚动刷新测试

  • 2020年5月:

  • 2020年4月:

    • 场景:增加 [鲁豫有约大咖一日行]

    • 厂商:增加 微软 Azure 认知服务 搜狗知音平台

    • 测试:全厂商 × 全场景 滚动刷新测试

    • 场景:增加 [新闻联播]

    • 厂商:增加 阿里 百度 谷歌 讯飞 腾讯 创Y

2、滚动测试

已有测试集信息汇总

文章链接场景领域难度(1-5)
新闻联播新闻播报时政
鲁豫有约一日行访谈电视节目名人工作、生活★★☆
天下足球专题电视节目足球★★☆
罗振宇跨年会场演讲社会、人文、商业★★
李永乐讲堂在线教育科普★★★
直播 王者荣耀直播游戏★★★☆
直播 带货直播电商、美妆★★★★☆
老罗语录线下培训段子,做人★★★★☆
播客 故事FM播客人生故事、见闻★★☆
播客 创业内幕播客创业、产品、投资★★☆
罗翔 法考在线教育法律 法考★★☆
张雪峰 考研在线教育考研 高校报考★★★☆
谷阿莫&牛叔短视频电影剪辑★★★
琼斯爱生活&贫穷料理短视频美食、烹饪★★★☆
单田芳-白眉大侠评书江湖、武侠★★☆
德云社专场相声包袱段子★★★
吐槽大会脱口秀明星糗事★★☆
小猪佩奇&熊出没少儿动画童话故事、日常★☆
NBA现场转播体育赛事解说篮球,NBA★★★
篮球人物纪录片篮球明星,成长★★
汽车之家 汽车评测短视频汽车品牌,车型,路测★★★☆
小艾大叔 豪宅带看短视频房地产,豪宅★★★☆
Zealer & 无聊开箱短视频产品开箱★★★
付老师种植技术短视频农业种植★★★☆
石国鹏线下课线下培训古希腊哲学★★☆
张震鬼故事电台节目恐怖故事★★★
华语大学生辩论赛辩论赛兴趣,技能,成长★★★
同声传译同声传译现场时政★★★☆

最新滚动测试结果汇总

纵轴(字准确率%)绘制范围为 [70, 100]

(注:讯飞被低估,原因详见链接 [SOTA])

最新滚动测试详细数据

3、简评

  • 本季度新加入 [张震鬼故事] [大学生辩论赛] [同声传译现场] 场景测试。

  • 本季度测试流程中的TN模块加入了无意义 filler 词 “呃,啊”的过滤,各厂商数字会因此有少许提升。

  • 本次滚动测试,阿里的调用更新到公网最新版“拾音石”,在 SpeechIO 测试集上性能全面下滑。其它厂商服务无明显变化。

  • 自本期滚动测试开始,SpeechIO 在有精力的前提下尽量做到每期都全面更换调用账号。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值