编写程序实现通过有道或百度翻译url对用户输入数据进行翻译_8 亿用户 AI 有道,超强神经网络翻译技术大解密!...

6a32d7cd938caf911a5ad71a3f6407aa.png
【新智元导读】数据的作用在人工智能发展道路上愈发被重视。7 月 27 日,在广州举行的 GMIC 大会上,网易有道技术总监林会杰表示目前 AI + 教育还在初级阶段,对于这一行业而言,得数据者得先机。这家拥有国内最大用户量(全平台 8 亿用户)的互联网教育公司也首次对外集体亮相 AI 能力,神经网络翻译、图像识别、语音交互技术和自适应学习四项 AI 能力联合为教育加码。

几乎所有企业都想搭上 AI 这趟车。

这的确是大势所趋,但比起匆忙加入浪潮,先看看手里有着怎样的牌,才能在这战场上打得更漂亮。

传统企业转型 AI,占据垂直化场景优势;有数据的公司拿起 AI 武器,“杀伤力” 惊人;拥有大量用户基础、以用户为导向的企业,更易开发出 To C 端产品。

最重要的是有技术加持,这就是时候向 AI 发力了。

7 月 27 日,在广州 GMIC(全球移动互联网大会)上,网易有道技术总监林会杰在题为《AI + 教育的进化之路》演讲中表示:

目前 AI + 教育还在非常初级的阶段,得数据者得先机,如何更好地采集数据、处理数据、从数据中学习更好地规律,是当前整个 AI + 教育行业的重点。

248432449b2fe45de85ab67f3a4ec2ea.png
网易有道技术总监林会杰

这也是网易有道首次对外集体亮相 AI 能力,翻译、图像识别、语音和自适应教育四项 AI 能力联合为教育加码:

  • 神经网络翻译(NMT):在学习和新闻测试集中,有道 NMT 的中英互译准确度均优于同行,最好成绩领先 7 个百分点。
  • 图像识别(OCR):拥有国内可识别语言最多的 OCR 识别引擎,且能应对多种高难度场景,平均准确率可达 95%;
  • 语音识别与合成:有道语音识别技术在一些场景上识别准确率超过 98%,支持中、英、日、韩多个语言;有道语音合成引擎音色逼近真人,支持中、英、日、韩、葡等多个语言;
  • 自适应学习:配合自研的智能学习硬件,实现实时采集书写数据,并且提供如学情分析、知识图谱评估、智能推题等一系列自适应学习辅助。

一直深耕技术的网易有道在 AI 方面的成绩单逐渐浮出水面,数据和技术加速转换成势能。

积累全平台 8 亿用户发力 “AI + 教育”,得数据者得先机

在人工智能产业落地的浪潮中,“AI + 教育” 更是处于风口。中国 K12 教育市场规模前景明朗,市场空间大。

成熟的 AI + 教育产品难以落地,根本原因是缺乏足量学习场景下的一手真实数据。

处处都是机遇,也处处都是挑战。如同艾瑞咨询在报告中指出,“AI + 教育” 领域边际明显,初期投入巨大,但越往后数据的反哺能力越强。

例如,在 AI 自适应学习产品中,由数据来训练算法,输出更接近真实情况的学习模型,学习系统进而得到增强,从而吸引更多学生使用,更多数据也会随之产生,形成良性循环。

f27cd2a84d76db5d0b55d7aeca451499.png
来源:艾瑞咨询研究院

数据对于 AI 的作用早已不容小觑。

此前,对于深度学习发展已到瓶颈的问题,业内也有人提出数据处理是一剂良药。

在深度学习上,投入算法不一定能见到成效,但投入数据一定能见效,数据会推动人工智能的发展,会将人工智能带入一个新台阶。

发展 AI 技术前就已积累大量数据,这对一个企业来讲无疑是一大优势。网易有道技术总监林会杰在 GMIC 大会上表示,对于 AI + 教育行业而言,得数据者得先机。

9f960181c99b2d8690c55a227db0f1f7.png

AI 模型的进化需要大量数据进行算法训练,然而线下传统教育仍是现在的主流,用户尚未习惯纯线上交互,大量学习数据都留存在线下难以采集。

以产品作为数据接口,是企业做 AI 的先天优势。网易有道本身的背景是一家 100% 用户导向的教育科技公司,全平台用户量 8 亿 +,能够获取更多样化的第一手数据。

同时,针对 AI + 教育的进程是否太慢这一问题,林会杰提出一个比喻,AI 渗透教育行业的过程好比 “为行驶中车辆换轮胎”,存在数年的教育行业有一套成熟的运行逻辑,如同一辆行驶中的车辆,现在行业想要换上 AI 这一新轮胎 “提速”,需要在不影响现有运行情况下,让技术逐渐渗透,最终完成 AI + 教育的迭代。

先机已得,技术自然要跟上步伐。

NMT 准确度可信赖:中英互译 BLEU 值盲测中,最好成绩领先 7 个百分点

先来看看有道 “起家” 的翻译技术。

移动互联网热潮来袭,有道团队 “切掉” 了连接计算机的那条线,上线有道词典移动版,迎来了巨大的用户红利,如今在全平台拥有 8 亿用户。

人工智能热潮又一次来袭,翻译这一王牌领域成为有道要绝对坚守的阵地。早在 2016 年,网易有道首席科学家段亦涛就已经带领团队攻坚神经网络翻译技术(NMT)。

如今,有道神经网络翻译已经支持 12 种语言的中文互译,10 种语言的英文互译。

在准确度方面,神经网络的翻译水平已经达到国际领先水平。在 2017 年周枫接受新智元采访时,在国际通用的 BLEU 评测中,网易有道针对翻译引擎不同的使用场景(学习、新闻、口语、用户日志)采集不同的评测数据,分别作出评测。

当时的有道翻译准确度在学习、新闻、口语和用户日志中就已高于其他国家引擎。

BLEU(双语评估研究 - Bilingual Evaluation Understudy)是一种用于评估自然语言之间机器翻译的文本质量的算法,它是与人类质量判断高度相关的指标之一,也是最普遍使用的自动指标。

BLEU 值越高,代表翻译准确度越高。

到 2019 年,在学习与新闻领域,无论是英译中还是中译英,有道的盲测集 BLEU 值也有了较大提升。据有道最新盲测数据显示,在学习和新闻测试集中,有道 NMT 的中英互译准确度均优于同行,最好成绩领先 7 个百分点。

65436b338005afaa7bbbae9c78457f46.png
2019 年 3 月 29 日评测结果

之所以能有这样的技术优势,领域自适应模型是网易有道的法宝之一。

用户的需求是是多元的,有些用户对金融信息有需求,有些要查计算机术语,若想要用一个模型来覆盖所有用户需求,必然会影响翻译的准确度。

机器翻译中的领域自适应模型是指,若想要让翻译质量更好,需要给它更多垂直领域的数据,更多的平行语料。有道对于一些特定领域有单独的模型,系统会判定语料适应的领域,分配不同的模型进行翻译。

除基础翻译技术过硬外,有道翻译用户不断增长的另一因素是注重产品交互的创新与改变,例如在 2018 年和 2019 年增添 AR 实景翻译、语音同传、文档翻译和网页翻译等多个场景化很强的功能。

拥有国内可识别语言最多的 OCR 识别引擎,赋能 AIoT 学习硬件

如今,这些新功能背后的技术已经成为帮助有道拓展 AI 业务边界的两把利刃。

OCR 是网易有道王牌技术之一,尽管 2014 年就已上线基于传统规则方法的 OCR 技术,但 2017 年,有了基于神经网络技术的加持,OCR 引擎的质量明显迈向了新台阶。

OCR 技术最直观的功能表现就是拍照翻译。截止 2019 年 5 月 15 日,有道 OCR 识别技术已经支持 26 种主流语言文字的支持,是目前国内识别语言最多的 OCR 识别引擎。

同时,网易有道的 OCR 技术是国际市场首家支持以下功能:

  • 多语种全自动判别与混合识别
  • 支持 360 度任意角度图像的文字识别
  • 支持文字语义方向为横排、竖排或者混合排列的文字识别

414d4e2106620af2d8f3d3e4288d659a.png

同时,针对 “AI + 教育” 这一场景,有道 OCR 团队进行了专项优化,研发出了一系列在国内市场上处于垄断性的优势技术,例如:

实现了公式识别,支持公式转为 LaTeX 功能,准确率达到 93%。输入图示例:

4d01124719f6ba8bfc48d6465b2e9450.gif

除此之外,有道的 OCR 技术也能应对拼音识别、超模糊手写体识别、多角度多语种混合排版识别等高难度场景,平均准确率可达 95%。

0ef4408072919aa8d3a2a70a1cd6d015.gif
超模糊手写体识别案例

同时,针对 K12 用户(尤其是少儿用户)高难度手写场景进行优化,识别准确率高达 85% 以上,是业内唯一支持高难度教育场景的手写 OCR 服务。

3ed37a9b0b92a036d8c010b0acc44edb.gif
K12 手写体识别案例

这些均可离线的 AI 技术将这些能力部署在多种移动端上,满足各种 AIoT 硬件的需求。目前有道的各个 AI 技术均支持离线,OCR 识别的模型离线后加起来只要 50M。

有道 OCR 以主流智能教育硬件为基础,构建了完整的教育场景 OCR 技术链路。

同样还能实现离线的另一王牌 AI 技术还有智能语音。

2017 年,智能语音技术被有道正式提上日程,投入研发,在语音识别(ASR)、语音合成(TTS)、语音评测、语种识别、声学前端增强等五大方面均有涉及:

  • 2017 年 6 月份启动 ASR 技术相关的研发,目前,支持中、英、日、韩、俄、西班牙等语言的识别,在一些场景上识别准确率超过 98%。
  • 于 2017 年开始语音评测技术的研发,目前在评分准确度方面和专家人工打分的相关性达到 0.8。
  • 从 2017 年开始自主研发语音合成系统,采用端到端的技术框架构建,达到和真人相当的语音自然度、高并发、低延时,目前已经支持中、英、日、韩、葡等多个语种。
  • 扩展其它相关语音技术的研发,例如声纹识别、说话人日志、语音前端增强等。
  • 在国际竞赛方面,有道语音团队参加了 DIHARD Challenge2019 竞赛,取得两阶段均第三名的成绩。

依托 TEACH 产品矩阵和业务场景的海量资源优势,有道语音技术团队在场景化声学建模、分领域语言建模、数据辅助标注等专项技术方面形成了和语音应用系统相互配合、密不可分的技术矩阵,达到较好的协同效应。

相关核心技术的整体框架结构如下图所示:

adb63194f8b1a2532c4f875e800770aa.png

值得一提的是,有道的语音技术不仅提供云端高精度的解决方案,还提供完善的离线部署和低资源嵌入式集成方案,可以在保证精度的同时减少对网络的依赖,极大扩展了应用场景。

纸笔交互:熟悉的自适应学习,新鲜的硬件加持

除此之外,网易有道为旗下产品 “有道精品课” 自研了一款有道智能笔。

简单来讲,这支笔除了正常书写功能外,内置了一个摄像头和一颗处理芯片,你在进行习题练习时,内置的摄像头会自动记录书写内容并同步上传到精品课 APP 中。

这其中 OCR 识别引擎就发挥了重要作用,同时运用点阵码追踪技术,完整地还原了线下作业体验并实现了实时上传。

2a162532de618f547054a9e830624fd3.gif

完成记录并上传只是完成了一部分任务,有道还开发了一套 AI 智能学习系统:通过分析智能笔上传的做题数据,进而提供如学情分析、知识图谱评估、智能推题等一系列自适应学习辅助。

这套系统由有道自主开发的题库和大数据推荐算法组成,目前有道自有题库容量已有 5000 万。

以初中数学为例,题库共收录了教学大纲中的数百个知识点、每个知识点对应上百道习题。题目和知识点均由老师人工标注难度及重要程度,为算法推荐提供依据。

事实上,有为 K12 用户专门打造的、有硬件加持的自适应学习系统在业内非常罕见,并且这还原了学生熟悉的纸笔交互系统,这也是网易有道 “AI + 教育” 业务的重要技术壁垒。

发力 AI 的基因与筹码兼备,网易有道商业化道路将迎质变

有道智能笔这类独特硬件的出现也能看出有道对在线教育资源掌控的决心与判断。

根据有道在 AI 技术上的布局,可以看出 2017 年是这家公司全力拥抱 AI 的一年。

同时,稳握 8 亿用户、100% 用户导向的原则,网易有道发力 AI 的基因与筹码都已具备。

单拿 “AI + 教育” 领域来说,网易有道所走得路线也相对 “稳妥”,属于均衡发展的选手,注重实用性与应用落地。

与转型拥抱 AI 的新东方、好未来等传统教育企业相比,它没有拥有绝对场景优势,但积累的用户基础极大,进而拥有数据优势,并且有多年的自研技术积累。

但与 AI 企业相比,网易有道没有经历通过纯靠技术 “厮杀” 的阶段。

作为网易旗下第三个独立融资的事业部门,AI 浪潮兴起的时候,网易有道早已不是初创企业,它对于如何将新技术落地商业化更有经验。

“AI + 教育” 行业尚处于发展早期的升温阶段,概念模糊,泡沫难免。保持清醒,注重实用性的确能保护企业避免触礁。

发力 AI 基因与筹码已兼备,至于何时走向资本市场、商业化道路迎来质变也是可遇见的未来。


新智元 · AI_era

每日推送 AI 领域前沿学术解读、AI 产业最新资讯

戳右上角【+ 关注】↗↗

喜欢请分享、点赞吧

欢迎加编辑微信交流、投稿~ 微信号:akubineko_

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值