程序员阿浪

机器学习翻译任务中的constrain decoding 实现流程前言一、(Vectorized) Lexically constrained decoding with dynamic beam allocation二、GENRE constrain decoding前言在翻译任务中（从一种格式的语言翻译到另一种格式的语言，并不局限于国家自然语言的互相转换，从自然语言翻译到程序代码也算一种，比如Text2SQL任务），通常会涉及到格式化语言的输出，这时候需要constrain decoding算法来避

【K-S检验】检验两个数据集的分布是否一致前言：在训练机器学习模型时，遇到了模型在数据集分割出来的test set上预测准确率高，但是在另一个test set数据集上预测准确率很低的情况。第一直觉是判断两个数据集的分布是否一致。K-S检验方法KS-test（Kolmogorov–Smirnov test）一般用来检验两个数据分布是否一致，KS检验不用假设数据的分布情况，算是一种非参数检验方法。下图是两个数据的累积分布函数（CDF）：代码：from scipy.stats import ks_2

Uncertainty 文献笔记一边读论文，一边思考最近大家在这块都研究哪些内容，然后考虑哪些点还有进一步研究的价值.ACLWord-Level Uncertainty Estimation for Black-Box Text Classifiers using RNNs摘要：估计神经网络预测的不确定性为更可靠和可信的文本分类铺平了道路。然而，常见的不确定性估计方法仍然是黑盒，没有解释哪些特性导致了预测的不确定性。这阻碍了用户理解不可靠模型行为的原因。本文提出了一种文本分类器不确定性在wor

《Uncertainty-Aware Curriculum Learning for Neural Machine Translation》学习目标：初步了解NMT领域知识，理解常用方法和术语建议：新手可以先看整理的NMT常见术语，方便理解全文摘要神经机器翻译(NMT)已经被证明易于课程学习（curriculum learning），在不同的训练阶段，以简单-困难的顺序学习样本。关键难度包括数据难度和模型能力的评估。我们提出了具有不确定性意识的课程学习模式，这种模式的动机来源是：1) 翻译pair的

神经机器翻译Neural Machine Translation的常用术语：

学习目标：初步了解NMT领域成果，理解常用方法和术语摘要解决的问题创新方法与主要思路思考和收获文章得到的结论重点加粗图6自己的发现：对于罕见词sampling的效果更好，对于常见词，beam5的效果更好在构建翻译的模型的时候，基本上有两种不确定性，一种是任务本身固有的不确定性，另一种是数据收集过程中存在的不确定性。内在的不确定性不确定性的一个来源是一句话会有几种等价的翻译。因为在翻译的过程中或多或少是可以直译的，即使字面上有很多表达相同意思的方法。句子的表达可以是主动的，也可以是被动的，

以下内容摘抄自stack overflow：一句话理解：自循环单元的循环次数引用Chris Olah’s blog开始说起:In a recurrent neural network you have multiple repetitions of the same cell. The way inference goes is - you take some input (x0), pass it through the cell to get some output1(depicted wit