Mr_Meng__NLP的博客

ESIM（Enhanced Sequential Inference Model）是一个综合应用了BiLSTM和注意力机制的模型，在文本匹配中效果十分强大，也是目前为止非常最复杂的模型。

BERT（BidirectionalEncoderRepresentations fromTransformers）近期提出之后，作为一个Word2Vec的替代者，其在NLP领域的11个方向大幅刷新了精度，可以说是近年来自残差网络最优突破性的一项技术了

谷歌2013年提出来的NLP工具，它的特点就是可以将单词转化为向量表示，这样就可以通过向量与向量之间的距离来度量它们之间的相似度，从而发现他们之间存在的潜在关系。虽然现在深度学习比较广泛，但是其实word2vec并不是深度学习，因为在这个word2vec中，只是使用到了浅层的神经网络，同时它是计算词向量的一种开源工具，当我们说word2vec模型的时候，其实指的使它背后的CBOW和skip-gram算法，而word2vec本身并不是模型或者算法

Transformer：编码器：多头的self-Attention + 残差 + 前馈神经网络 + 残差解码器：多头遮蔽的self-Attention + 残差 + 前馈 + 残差 + encoder-decoder Attention + 残差encoder-decoder Attention就是一个普通的Attention是判断编码的输出C和当前翻译的一个Attention关系的。因此解码器相比较编码器来说仅仅多了一个mask和encoder-decoder Attention。

Seq2Seq 是一种循环神经网络的变种，包括编码器 (Encoder) 和解码器 (Decoder) 两部分。Seq2Seq 是自然语言处理中的一种重要模型，可以用于机器翻译、对话系统、自动文摘。

RNN（Recurrent Neural Network）是怎么来的？一些应用场景，比如说写论文，写诗，翻译等等。

首先明白我们的目的是想要做人工智能，既然是人工智能就想让机器去模仿人，那么人最大的特点就是有很多的神经元，从而可以思考，因此基于这个想法，搭建出来了人工神经网络，有大量的节点构建出来的一个网络，不过这毕竟是个抽象的概念，节点通常就用来储存数字啦，而边一般都用来储存权重，以及传给哪些神经元。

对抗网络——GAN人脸检测，图像识别，语音识别等等，人类或者机器总是在现有的事物的基础上做出描述和判断，那么大家考虑一个东西，能不能创造出这个世界上不存在的东西？——————————GAN（生成对抗网络）

自编码器：自编码器是用于无监督学习，高效编码的神经网络，自动编码器的目的就在于，学习一组数据的编码，通常用于数据的降维，自编码是一种无监督的算法，网络分为：输入层，隐藏层（编码层），解码层，该网络的目的在于重构输入，使其隐藏层的数据表示更加好，利用了反向传播，将输入值和目标值设置一样，就可以不断的进行迭代训练。