LLM + ASR + OCR，新的语言学习模式已开启

自从LLM火起来后，各种垂域上的落地项目层出不穷。我印象最深刻的项目之一是“与AI对话学外语”，对i人来说，它既避免了真人对话时的尴尬，又能锻炼大家的口语能力。

我把这类应用分享给了我的一个大佬朋友（他一直是做语音方向的），使用下来他的感受是：确实能促进口头表达能力，但是对阅读、写作来说可能有一定负面作用。举个例子来说，我们在阅读论文时，经常会出现一些晦涩的长句，如果我们习惯了口语上短促简明的表达方式，我们可能无法很好理解这些长句。

这位大佬朋友当时提出了个新想法：出一款以“背诵”为主要内容的英语学习app，同时它又能对你背诵时的英语发音进行打分和纠正。通过文章/词组背诵，培养了阅读写作能力；通过语音打分和纠正，培养口语能力。

我原来以为大佬只是说说而已，没想到他从模型到部署到app开发，真得全部做出来了。昨天我自己试用了下，体感很不错。所以在这里把这款app：智背英语，推荐给有外语学习需求的朋友，大家可以下载体验，提提意见，感谢对独立开发者的支持！

下面是这款app用到的技术和功能的简介。

图片

提供“拍照 + OCR识别”能力，支持用户自定义待背诵内容。

内置百篇经典英文散文，助力用户背诵学习体验

图片

图片

智背英语提供四种方法助力文章背诵：

采用随机掩码mask文章中的单词，帮助默记，适用于第一遍背诵。

以选择题/完形填空的方式，帮助用户做记忆巩固，适用于第二遍背诵。

图片

采用单词/首字母随机掩码mask文章中的单词，支持用户输入，同时巩固背诵及拼写能力，适用于第三遍背诵。

图片

对全文（可选择是否给提示）背诵情况进行语音打分和纠正，适用于最后一遍背诵。

图片

智背英语中，核心功能“语音背诵”背后的模型雏形为RNN-Transducer，在后续的迭代版本中将迁移至LLM + ASR的整体架构上。这一部分等有时间，来邀请大佬写一篇文章。