转自量子位
还记得美国前一阵要招聘 60 岁的老程序员吗？都怪编程语言发展太快！
因为新冠疫情的缘故，美国一些地区的失业救济系统不堪重负，而这些系统都是上古语言 COBOL 写的。
然而，现在早已经是 C/C++、Java、Python 的天下了，把 COBOL 程序换成 Python，何其难也。
远的不说，Python 2 刚刚淘汰，过去的老程序手工转成 Python 3 也是个很大的工程。
既然 AI 能翻译自然语言，那也应该能翻译编程语言。
Facebook 也是这么想的，所以他们最近提出了 TransCoder，一个翻译编程语言的 AI，现在可以在 C++、Java、Python 语言之间互译。
经翻译后的程序，成功运行的通过率最高可以达到 80.9%。
而且 TransCoder 是一种无监督学习算法，意味着不需要大量成对的、标记的编程代码数据集进行训练。
如果这项技术达到实用化程度，对广大程序员来说真是巨大福音啊！
难怪论文作者之一 Guillaume Lample 在 Twitter 上宣布了这篇论文后很快引起了热议。
翻译编程语言，什么原理？
TransCoder 充分利用了编程语言的特点，比如像 for、while、if 这些关键词以及通用的数学运算符。
下图展示了 C++、Java 和 Python 关键字的嵌入。在相似的上下文中使用的不同编程语言的关键字在嵌入空间中非常接近。
例如，Python 中的 except 和 Java、C++ 中的 catch 都用于获取异常，它们被映射到非常相似的嵌入空间位置。
对于映射的实现（map 和 dict）、用于将字符串转换为字符数组（c_str 和 toCharArray）以及类似的变量类型 (例如 long、int 和 Integer)，也可以观察到相同的现象。
那么以上这些关键词的嵌入是如何获得的？
Facebook 提出了实现无监督编程语言机器翻译的三个原则。
首先，通过跨语言掩码语言模型（MLM）预处理来初始化模型，这有些类似于自然语言的填空题。结果是表达相同指令的代码片段被映射到与编程语言无关的相同表示。
其次是去噪自动编码，它能训练解码器始终生成有效序列，即使在输入有噪声的数据时也是如此，提高了编码器对输入噪声的鲁棒性。
最后是反向翻译，它允许模型生成可用于训练的并行数据。每当 Python 转 C++ 模型变得更好时，它就会为 C++ 转 Python 模型生成更精确的数据，反之亦然。
通过以上步骤，TransCoder 在训练后获得了之前提到的跨语言嵌入。
我们观察到，TransCoder 成功地理解了每种语言特有的语法、数据结构、函数库和方法。
在上面的图中，展示了 Java 和 C++ 独有的三元运算符 X ? A : B，翻译到 Python 中就变成了 if X then A else B。
以下是一个从 Python 翻译到 C++ 的实例。TransCoder 推断变量和函数返回值的类型，将 Python 的 deque() 容器映射到 C++ 中类似的实现 deque<>，并使用 C++ 的 front、back、pop_back 和 push_back 方法来检索和插入 deque 中的元素，而不是使用 Python 方括号、pop 和 append 方法。
实验结果
为了训练 TransCoder，Facebook 在 GitHub 上寻找了 280 万个开源代码库进行训练，其中包含数百亿个 token。
然后去 GeeksforGeeks 平台去验证翻译成果，该平台是收集各类编码问题，并以多种编程语言提供解决方案。
和自然语言不同的是，代码翻译并不太要求逐字逐句的对照，因此翻译后的代码和参考代码的重合度其实很低，比如 C++ 转 Java 的代码和 Ground Truth 仅有 3.1% 匹配。
另外 NLP 翻译中的 BLEU 也不宜作为代码翻译的衡量标准，因为这只能表示实际代码和参考代码之间的语法差异。
因此需要一个新的度量标准 —— 计算正确率，它表示翻译后的代码测试后是否能与参考代码有相同的输出。
以此为标准，C++ 转 Java 的代码的计算正确率为 60.9%，而 Java 转 C++ 的计算正确率为 80.9
%。
Facebook 不是唯一开发 AI 代码生成系统的公司。前不久微软 Build 大会上，OpenAI 就演示了一个在 GitHub 数据上训练的模型，仅根据注释内容即可生成对应功能的代码。
TransCoder 没那么智能，但是在计算机技术飞速发展的今天，谁知道下一个流行的语音是什么，有了 TransCoder，至少让我们在移植代码的时候没那么难了。
也许美国社保系统的 COBOL 就靠它解决了。
论文地址：
https://arxiv.org/abs/2006.03511
精 彩 文 章
END
最后说个题外话，相信大家都知道视频号了，随着灰度范围扩大，越来越多的小伙伴都开通了视频号。小詹也开通了一个视频号，会分享互联网那些事、读书心得与副业经验，欢迎扫码关注，和小詹一起向上生长！「没有开通发布权限的尽量多互动，提升活跃度可以更快开通哦」
扫一扫
3019
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
