纯干货，英专生论文中关于机器翻译质量的BLEU测评法，ChatGPT轻松实现，技巧揭密

有朋友私信说，能不能来点干货？天天都是小广告。

我虚心接受批评，今天就写纯干货。

上半年，一对一辅导了不少英专生的论文写作。他们有些选题是关于机器辅助翻译工具的测评。

这种测评，不能是我们拍脑袋自定义的标准，而应找文献中推荐的方法，比如BLEU、NIST、METEOR、TER、WER等算法。

考虑简单易用性，大家一般会选择BLEU方法。

BLEU（Bilingual Evaluation Understudy）是一种常用于评估机器翻译质量的算法，由IBM提出。它通过比较自动翻译结果与一个或多个参考翻译之间的n-gram重叠来评估翻译的准确性。

具体来说，BLEU算法包括以下四个步骤：

1.n-gram计算：对自动翻译结果和参考翻译进行n-gram（通常是1-gram到4-gram）的计算，得到两者之间的n-gram重叠数量。

2.精确匹配：对于每个n-gram，计算在自动翻译结果中出现的次数和在参考翻译中出现的次数的较小值，然后将这些较小值相加得到总的精确匹配数。

3.BP惩罚：为了解决短句子翻译准确率高的问题，引入了BP（Brevity Penalty）惩罚。如果自动翻译的长度少于参考翻译的长度，则BP惩罚为1，否则为exp(1 - 参考翻译长度/自动翻译长度)。

4.BLEU分数计算：将精确匹配数除以自动翻译结果的总n-gram数量，然后乘以BP惩罚，最终得到BLEU分数。

这些步骤最终要用编程来实现，比如Python语言，对于文科生来说，听着就很复杂，更别说编程了。

方法总比问题多，现在有了ChatGPT4.0，我们完全可以借助它搞定编程。

法律条文的翻译要求行文严谨规范，所以我选用法规为例进行实操，

法规来源：

http://www.cqsdj.gov.cn/bmjz/bm/swwyh/zwgk_72272/fdzdgknr_72274/lzyj1/flfg/202302/t20230217_11619453.html

我找了其中一段《中华人民共和国外商投资法》双语内容，以此作为参考译文。

本法所称外商投资，是指外国的自然人、企业或者其他组织（以下称外国投资者）直接或者间接在中国境内进行的投资活动，包括下列情形：

（一）外国投资者单独或者与其他投资者共同在中国境内设立外商投资企业；

（二）外国投资者取得中国境内企业的股份、股权、财产份额或者其他类似权益；

（三）外国投资者单独或者与其他投资者共同在中国境内投资新建项目；

（四）法律、行政法规或者国务院规定的其他方式的投资。

本法所称外商投资企业，是指全部或者部分由外国投资者投资，依照中国法律在中国境内经登记注册设立的企业。

对应的官方译文为：

Foreign investment mentioned in this Law refers to the investment activities of foreign natural persons, enterprises or other organizations (hereinafter referred to as foreign investors) directly or indirectly within the territory of China, including the following:

(1) Foreign investors set up foreign-invested enterprises in China alone or jointly with other investors;

(2) Foreign investors obtain shares, equities, property shares or other similar rights and interests of enterprises within the territory of China;

(3) Foreign investors investing in new projects in China alone or jointly with other investors;

(4) Other investment prescribed by laws, administrative regulations or specified by the State Council.

Foreign-invested enterprises mentioned in this Law refer to enterprises that are wholly or partly invested by foreign investors and registered within the territory of China under the Chinese laws.

针对这段汉语条文，我通过谷歌翻译、百度翻译、ChatGPT3.5翻译得到三段译文。

谷歌翻译

The term “foreign investment” as mentioned in this Law refers to the investment activities carried out directly or indirectly in China by foreign natural persons, enterprises or other organizations (hereinafter referred to as foreign investors), including the following situations:

(1) Foreign investors establish foreign-invested enterprises in China alone or jointly with other investors;

(2) Foreign investors acquire shares, equity, property shares or other similar rights and interests in Chinese domestic enterprises;

(3) Foreign investors invest in new projects in China alone or jointly with other investors;

(4) Investment in other forms prescribed by laws, administrative regulations or the State Council.

The term "foreign-invested enterprises" as mentioned in this Law refers to enterprises that are fully or partially invested by foreign investors and registered and established in China in accordance with Chinese laws.

百度翻译

Foreign investment referred to in this Law refers to investment activities directly or indirectly conducted by foreign natural persons, enterprises, or other organizations (hereinafter referred to as foreign investors) within the territory of China, including the following situations:

（1） Foreign investors, either alone or jointly with other investors, establish foreign-invested enterprises within the territory of China;

（2） Foreign investors acquire shares, equity, property shares, or other similar rights and interests of enterprises within China;

（3） Foreign investors investing alone or jointly with other investors in new projects within China;

（4） Other forms of investment stipulated by laws, administrative regulations, or the State Council.

The term "foreign-invested enterprises" referred to in this Law refers to enterprises that are wholly or partially invested by foreign investors and registered and established within the territory of China in accordance with Chinese laws.

ChatGPT3.5翻译

Foreign investment, as referred to in this law, denotes the investment activities conducted directly or indirectly within the territory of China by foreign natural persons, enterprises, or other organizations (hereinafter referred to as foreign investors), including the following scenarios:

(1) Foreign investors establishing foreign-invested enterprises within China, either alone or jointly with other investors;

(2) Foreign investors acquiring shares, equity, property shares, or other similar rights in enterprises within China;

(3) Foreign investors, either alone or jointly with other investors, investing in new projects within China;

(4) Other forms of investment stipulated by laws, administrative regulations, or provisions of the State Council.

A foreign-invested enterprise, as referred to in this law, refers to an enterprise that is wholly or partially invested by foreign investors, registered and established within China in accordance with Chinese law.

而后，我们使用GPTs — Data Analyst计算三个译文对应的BLEU值，提示词如下：

请你模拟Python版的BLEU，帮我测评译文。

我们把参考译文和3个翻译译文整理成一个文本发给Data Analyst。

Data Analyst开始进行分析。

它在分析过程中先提供了Python版BLEU算法的代码，然后再计算结果。

最后，得出结论。

在这段译文中，所有三种翻译都与参考译文相当接近，其中谷歌译文的相似度最高。

这些结果说明这些机器翻译系统在翻译法律文本方面的表现都相当不错，尤其是谷歌的翻译稍微领先一些。

注意！这仅是举例。在实际科研中，我们还要加入一些其它因素进行限定。

Data Analyst需要ChatGPT4.0账号才可以使用。

如有需要ChatGPT4.0拼单或ChatGPT4.0共享账号的朋友，可以找谷雨guyu299。

Data Analyst使用方法如下。

使用4.0账号登录ChatGPT，点击左上角的“Explore GPTs”。

找到“Data Analyst”，点击该选项。

在弹出的窗口，点击“Start Chat”按钮，就可以使用了。

ChatGPT是生成式人工智能，是论文撰写润色修改的利器，我现在的工作和生活已经离不开它，而且已经用ChatGPT开启了第二曲线，今年已经陪跑3位高校老师，7位博士生，13位硕士生，11位本科生完成了期刊或毕业论文的写作。

我们为此打造了一款交付产品：“ChatGPT辅助论文写作一对一陪伴式服务”。

这个产品分为两个部分：

1. ChatGPT辅助论文写作，可以保证论文高效高质量地完成；

2. 一对一陪伴式服务，可以保证全程指导你借助ChatGPT完成论文编写、降重、润色和修改，直到论文通过答辩。

这款交付产品不是一系列冷冰冰的视频，而是采用管家式服务，直接陪着你，催着你，共同完成论文写作。

我们敢于做一对一陪伴式服务这项业务的底气来自于，写得多，练得多，见得多，用得多，有经验。

人工智能其实不复杂，大家都能学会，它的真正门槛在于在特定领域长期使用所积累的经验与沉淀。

咱们指导的做法简单粗暴，不用微信文字这种低效沟通方式，而是随时随地直接拉个腾讯会议，手把手，直接带你实操ChatGPT辅助论文写作的奇技淫巧，后续陪伴你直到论文顺利完成答辩。

另外，购买此服务的朋友，可以免费获得：

1、ChatGPT4.0官方账号一个月的使用权（价值150元）。

2、干货满满的《ChatGPT辅导论文写作实战锦囊》（价值3000元）。

在锦囊里，我们浓缩了十条基本规则，这些规则是实现成功、高效提示词的基础。

灵活并且创造性地运用这些简单规则可以显著提高模型输出内容的质量，能够满足甚至超越你的期望。

如果你对此产品感兴趣，可以联系谷雨guyu299，一起沟通交流。

毕业论文季，咱们一起把论文写完！

刚刚，ChatGPT重大更新！GPT-4更加聪明，已成毕业论文撰写润色修改最佳利器！

知网AIGC检测步骤详解，亲测知网AIGC检测率有效降低，轻松解决论文AIGC疑似率过高问题

压箱底的干货