导读:批改网是一家基于语料库的英语作文自动批改服务,可有效提高老师批改英语作文的工作效率,提高学生的英语写作能力,属国内首款。它的创立背景是什么?背后又有怎样的创新故事?它的成功有哪些经验可以借鉴呢?带着这些疑问,CSDN记者专访了批改网创始人张跃。
CSDN记者:请首先介绍一下批改网,(与同类型产品相比)它具有哪些创新之处?
张跃:批改网(www.pigai.org)是基于语料库的英语作文自动批改服务,能够有效提高老师批改英语作文的工作效率,提高学生的英语写作能力。与同类产品相比,我们的创新点包括:
一键收发:考虑到老师和学生的日常教学和学习任务都非常繁重,我们在设计系统的时候着重考虑到系统的用户体验,让用户使用起来非常简单,比如我们已经做到了老师一键布置作文和学生提交作文,同时我们还提供多种方式让老师收发作文,比如可以提供一个固定的网址或者提供作文号让学生提交作文,希望做到比传统的邮件收发作文还要好用。
自动批改:学生提交作文后,我们会立即给出分数、评语和按句点评,其中机器评分和人工评分的基本一致率达到91.55%,评语和点评可以分别从总体和句子两个层面给学生反馈,帮助学生改进作文。
中式英语:目前国外的ETS、麦格劳希尔、皮尔森等知名机构都有类似的作文自动批改系统,但他们主要针对英语作为本族语的学习者,而我们主要针对的是英语作为第二外语的中国学习者,中国学习者最容易范的错误就是中式英语(Chinglish),我们因为掌握了大量的中国学习者语料库和国外本族语语料库,通过语料库比对,我们能够识别多数中式英语。
开放平台:我们底层的打分公式、自动评语和按句点评都是开放可以定制的,比如我们目前有四六级打分公式,在我们有相应训练集和测试集得情况下,我们就可以定制出雅思、托福、中考、高考的打分公式出来,对于评语和点评也一样。
薄弱分析:除了这些以外,我们还可以基于学习者作文的数据为老师提供教学和科研方面的应用,比较典型的例子是薄弱点分析,老师可以基于数据分析学习者的个性薄弱点和共性薄弱点,老师在课堂上可以做针对性的改进。
另外我还想强调一点,作文自动批改系统目前只有美国ETS、麦格劳希尔、皮尔森等少数权威机构或国际大公司掌握了核心技术,而批改网是完全自主研发的国产软件,从核心引擎到批改应用都是完全自主知识产权的,这一点能够保证我们能够快速和创造性的满足客户的需求。
CSDN记者:请介绍一下创建该网站的背景。当初怎么想到要做这么一个产品呢?
张跃:我们公司是2007年成立的,之前一直是做垂直搜索引擎和双语语料库应用的技术公司,很偶然的机会我们拜访了南京大学大学外语部的王海啸教授,希望推广我们的语料库教研平台。王老师一席话让我们决定转型做批改网这个产品,他认为:“目前大学英语考试中学生得分最低的就是作文,主要的原因是练的不够多和没有老师批改;但从老师的角度来说,也没法给学生全部做批改,因为现在英语老师的生师比约是1:130,每篇作文如果认真批改至少要10分钟,这样老师至少要花掉20小时的时间去批改一篇作文,大学老师除了教学还有科研任务,不可能花这么多时间去批改作文;另外还有一点是,老师可能也没有这个能力去帮助学生批改作文,因为批改作文第一要判断错误,第二要改正错误,第三提供建议,而语言又是动态变化的,这些都对老师的能力提供了挑战。”
王老师当时就建议我们做英语作文自动批改系统,因为首先,我们有英语语料库分析方面的积累,某种意义上来说作文的分数可以看做作文和语料库之间的距离;其次,我们有自然语言处理技术(搜索引擎)方面的积累;最后,我们有英语教学软件和互联网产品研发方面的积累。所以王老师认为从技术积累上我们非常适合开发这个系统,我们最缺的就是来自一线教学的需求和英语教育测量方面的理论支持,而南京大学和王老师恰恰是需求的来源和英语教育测量方面的专家。
在这种背景下,我们和南京大学很快就打成共识,共同研发这个系统,这就是批改网的研发背景。
CSDN记者:该产品的适用群体有哪些?
张跃:批改网目前主要适用于各类教育机构,包括高校、培训机构、中小学等,通过辅助老师批改作文来提高学生的英语写作能力。同时我们也跟知名英语学习网站合作直接为个人提供英语作文批改服务,比如我们和大耳朵英语合作推出了大耳朵英语作文批改网(http://writing.ebigear.com/)。
CSDN记者:该产品的核心技术点有哪些?
张跃:批改网的核心算法是计算学生作文和标准语料库之间的距离,再通过一个映射将距离转化成作文分数和评语。核心技术点是对于每一篇输入的作文,批改网将它分析成可测量的192个维度,这个分析过程用到了大量的自然语言技术和机器学习的方法,每篇作文先被自动切分成句子,然后每一个句子都进行深度的语义分析,从中抽取词、搭配、词组等结构化单元。
CSDN记者:您认为在设计、开发该产品时最困难的阶段是什么时候?都遇到了哪些难点?是如何克服的?
张跃:研发第一版时最困难,当时时间紧,我们没做太多调研的情况下推出了第一版作文打分公式,在实际应用中发现了很多问题,比如区分度不够等。
为了提高作文打分公式的区分度和有效性,我们仔细调研了国内外的相关论文,最终在新版设计了一个打分平台,支持了192个作文维度,包含了国内外几个主流作文自动打分系统的维度,新的打分平台支持自主选择训练集训练,并支持维度配置,通过该平台上可以定制一些常见的打分公式,比如我们知道著名的美国ETS打分公式有12个维度,我们也可以在批改网上配置一个“ETS”版的打分公式。
CSDN记者:在开发此产品时,有没有一些难忘的经历,请分享一下。
张跃:批改网研发的过程就是一个不断和一线老师接触的过程和内部争论的过程,我们内部有两个不成文的规定“不接触一线就没有发言权”、“否定与自我否定”。我们曾经为一个“抄袭检测”的按钮是放在上面还是下面?是隐藏还是不隐藏?是显示数字链接还是显示按钮?反复修改了3次。
CSDN记者:假设可以重新设计该产品,您将侧重于哪些方面的改进?
张跃:如果重新设计的话,我们会将作文批改整合到统一的语料库平台中,从批改网上线以来,作文数据增长非常快,这个数据中蕴藏着大量有价值的信息,比如学生的共性薄弱点,某个学生的成长轨迹等等,批改网也计划提供作文数据挖掘接口,帮助老师挖掘数据中的规律。
CSDN记者:该产品发布至今,累计有多少高校入住,他们对该产品的评价如何?
张跃:批改网的应用分三个阶段,第一个阶段是产品磨合阶段,通过南京大学实际的应用来磨合产品;第二个阶段试点推广阶段,主要是选择部分典型高校进行试点推广,更大范围的收集用户的反馈,目前试点的高校有二十多所;第三个阶段是大范围推广阶段,即将启动这个阶段,不过我们已经做了一些准备工作,比如我们跟外研社签订了合作协议,在他们的资源库产品中捆绑批改网,预计将直接覆盖到300多所高校,同时我们也在尝试跟一些培训机构和出版机构进行合作。
老师们对产品的评价也分三个阶段,最开始认为机器评分完全不靠谱;后来发现机器评分和人工评分其实相差不大,而且还能够提供反馈,有些反馈比老师给的还要细致;到现在,老师已经开始主动给我们提建设性意见,主动帮助我们完善系统,比如发现系统不能识别的错误,老师们会通过系统的点评工具记录到系统的知识库中,以后再有类似的错误系统就可以自动识别了。
学生的评价从被动的提交老师布置的作文到主动在批改网上练习和反复提交作文看分数的变化,这一点是让我们最开心的。
CSDN记者:您认为该产品的发展前景如何?对该产品的未来发展有哪些规划?
张跃:我们相信任何行业和互联网结合都是必然的规律,比如普通邮件升级为电子邮件、贸易升级为电子商务,纸质作业也一样必然会升级为电子作业为主,电子作业相比纸质作业有几个优势,第一、绿色,电子作业完全是绿色无污染,还可以节省大量的纸张;第二、高效,计算机可以高效并且不知疲倦地处理大量重复的工作;第三、可管理,计算机可以将学生的全部作业记录保存下来,老师可查询、管理和分析。
我们的愿景是成为全球领先的电子作业批改服务提供商,不仅可以批改英语作文也可以批改英语翻译、听写、口语更多等作业类型;逐步支持中文、数学、物理等其它学科。
CSDN记者:最后请总结一下,设计该产品的过程中所得到的经验或教训。
张跃:在这过程中确实有很多经验和教训,我们也总结了产品设计的两个凡是,“凡是拍脑袋出来的需求最后一定会调整”、“凡是多余的设计最后一定会去掉”,所以我们建议设计产品一定把握以下两点。
(1) 深入客户
深入客户一方面要求我们要广泛接触一线教师,收集教师的需求和问题;另一方面,我们也招聘了四位英语老师以真实老师的身份去使用系统,深度了解老师的需求。
比如作文截止时间一定设在给定日期的23:59分而不是设在24:00,这就是来自一线老师的需求。
(2) 化繁为简
80%老师经常使用的是20%的功能,针对20%常用的功能一定要将用户体验做到极致,不常使用的80%功能要学会舍弃或隐藏。