随着虚拟数字人的走红,为 AI企业通过人工智能主播播报各地方言新闻等内容,带来了更多想象空间。如何能够让两个跨方言语种的人,实现语言的相通?无论对于普通人来讲,有多难理解的方言,例如湘方言、吴方言、闽南方言等——AI都可以!
先来点关于方言的科普
“方言天才”鼻祖:互联网上是这样介绍他的,中国语言学之父,精通8国语言和国内33种方言,被胡适拜为“偶像”,被称为中国历史上有一个奇才,能让全世界的人都当他老乡,“清华四大导师”之一,他就是赵元任。
方言,是语言的变体,根据性质,方言可分地域方言和社会方言。
地域方言是语言因地域方面的差别而形成的变体,是全方言民语言的不同地域上的分支,是语言发展不平衡性而在地域上的反映。
社会方言是同一地域的社会成员因为所在职业、阶层、年龄、性别、文化教养等方面的社会差异而形成不同的社会变体。
随着,智能助手、智能搜索、智能导航、智能音箱等AI语音应用或产品,对于标准普通话的识别精准度越来越高,而对于方言,尤其是面对带有地方重口音的方言,识别精准度远不及标准普通话,且方言语种覆盖范围有限。
针对这样的问题,越来越多的企业已经提前发力、深度布局,探索语音领域中的方言识别能力。例如,百度输入法已经实现方言与方言、方言与普通话的混合语音输入;达摩院语音 AI 技术创新全景不仅有中英自由说,更有方言自由说;科大讯飞输入法迎来升级,离线方言语音输入支持23种方言;华为夏季旗舰新品发布会上,Harmony OS智能座舱配备的语音助手“小艺”,据说未来将支持粤语和四川话语言命令,解决方言难题…
人工智能面临的方言难题?
方言识别与普通话识别差异大,方言的识别更加复杂,不仅体现在文字使用习惯上,例如:(普)我喜欢你-(沪)吾灰系侬,读音上也不同,“我”读“吾”。即使是同一个地区,方言也有不同,比如上海浦东和上海浦西的上海话也有分歧。
方言种类细分多样,给方言数据采集带来诸多困难。数据库的采集需要找到对应的发音人,搜罗某个方言对的字、词、句,通过文字、音标、语音的方式记录,最后集成数据库,供人工智能学习。众多方言种类意味着大量的方言语音数据,并且为了实现识别的高准确率,对于数据质量,语言模型多样性也有着更高的要求。
人工智能学会方言,意味着什么?
智能客服领域,精准识别方言种类,理解用户提出的问题,给出用户合适的回答,高效服务用户,不会出现“对着客服说了半天,它只回复没有听明白”的情况;智能应用领域,任何地区的重口音、方言用户都可以普通话混合方言随意说出指令,不会因为口音问题出现听不懂、会错意的问题,即使是只会讲方言的老年人,也可以跟家里智能产品对话,实现无障碍交流,享受到科技带来的美好;输入法领域,不必再担心因为方言出现的错输、漏输问题…
当人工智能掌握方言,对于用户来讲,意味着更加高效、畅通无阻的人机交流的实现。对于AI企业来讲,意味着更大的市场空间,一定程度上不仅能打破方言带来的“地域壁垒”,而且将覆盖更广泛的消费人群,有助于扩大产品的市场份额。
针对不同地域不同方言,海天瑞声制作了一系列方言语音数据集,支持智能家居、智慧交通、智能驾驶、智慧金融、智能搜索等众多业务场景,解决AI企业应用的方言识别问题。
除了成品方言数据集产品,海天瑞声积累了丰富的语音数据服务项目经验,可以提供定制化数据解决方案及服务。在全球化的母语发音人资源的布局以及全球语言学家团队的支持下,可提供数十个行业场景的语音数据方案设计、语音采集、转录、发音词典制作服务,支持覆盖190个语种及方言。
随着城镇化进程和互联网时代的发展,主流或通用语言占据主导,类似于少数民族语言和方言的使用人数逐渐减少,人工智能的发展也为方言保护提供了绝佳的手段。未来,海天瑞声将继续深耕行业,用数据的方式留存方言,覆盖包括国内地域方言到全球稀有语言语种,助力人工智能应用掌握更多语言。