LinusYu的专栏

Attention Is All You Need学习全文翻译Abstract(摘要)  主流的序列转换模型是基于复杂的循环神经网络（RNN）或卷积神经网络（CNN），包括编码器和解码器。表现最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构——Transformer，完全基于注意力机制，完全免除了循环神经网络和卷积神经网络。在两个机器翻译任务上的实验表名，这些模型...

自然语言模型介绍语言模型概览语言模型本质上是在回答一个问题：出现的语句是否合理。在历史的发展中，语言模型经历了专家语法规则模型（至80年代），统计语言模型（至00年），神经网络语言模型（到目前）。专家语法规则模型在计算机初始阶段，随着计算机编程语言的发展，归纳出的针对自然语言的语法规则。但是自然语言本身的多样性、口语化，在时间、空间上的演化，及人本身强大的纠错能力，导致语法规则急剧膨胀，不...

一文详解Google最新NLP模型XLNet语言模型和BERT各自的优缺点在论文里作者使用了一些术语，比如自回归（Autoregressive, AR）语言模型和自编码（autoencoding）模型等，这可能让不熟悉的读者感到困惑，因此我们先简单的解释一下。自回归是时间序列分析或者信号处理领域喜欢用的一个术语，我们这里理解成语言模型就好了：一个句子的生成过程如下：首先根据概率分布生成第一个...