自然语言处理知识梳理

word2vec

from gensim.models import Word2Vec
sentences = [["cat", "say", "meow"], ["dog", "say", "woof"]]
model = Word2Vec(sentences, min_count=1)

常用参数：

• sg (int {1, 0}) : 　表示训练的方法　如果是１则采用skip-gram,否则采用cbow,默认为0
• size : 词向量的维度。
• min_count：低于设置词频的词会被忽略。
• workers: 设置并发
• hs (int {1,0}) : 如果是１则采用hierarchical softmax 方式估计. 如果是 0采用.“负采样”（negative sampling）方式训练

textcnn

TextCNN详细过程：

• Embedding：第一层是图中最左边的7乘5的句子矩阵，每行是词向量，维度=5，这个可以类比为图像中的原始像素点。
• Convolution：然后经过 kernel_sizes=(2,3,4) 的一维卷积层，每个kernel_size 有两个输出 channel。
• MaxPolling：第三层是一个1-max pooling层，这样不同长度句子经过pooling层之后都能变成定长的表示。
• FullConnection and Softmax：最后接一层全连接的 softmax 层，输出每个类别的概率。

Bi-LSTM

但是利用LSTM对句子进行建模还存在一个问题：无法编码从后到前的信息。在更细粒度的分类时，如对于强程度的褒义、弱程度的褒义、中性、弱程度的贬义、强程度的贬义的五分类任务需要注意情感词、程度词、否定词之间的交互。举一个例子，“这个餐厅脏得不行，没有隔壁好”，这里的“不行”是对“脏”的程度的一种修饰，通过BiLSTM可以更好的捕捉双向的语义依赖

1. LSTM
   
2. Bilstm
   
   
   

Bi-LSTM + Attention

Bi-LSTM + Attention 就是在Bi-LSTM的模型上加入Attention层，在Bi-LSTM中我们会用最后一个时序的输出向量 作为特征向量，然后进行softmax分类。Attention是先计算每个时序的权重，然后将所有时序 的向量进行加权和作为特征向量，然后进行softmax分类。在实验中，加上Attention确实对结果有所提升。其模型结构如下图

seq2seq

seq2seq基本思想就是利用两个RNN，一个RNN作为encoder，另一个RNN作为decoder
第一种形式是语义向量只作初始化参数参与运算

第二种形式是语义向量参与解码的每一个过程

attention+Seq2seq

传统rnn-based model

加入attention与rnn结合的model


权重的三种计算方式

Transformer

• Encoder由N=6个相同的layer组成，layer指的就是上图左侧的单元，最左边有个“Nx”，这里是x6个。每个Layer由两个sub-layer组成，分别是multi-head self-attention mechanism和fully connected feed-forward network。其中每个sub-layer都加了residual connection和normalisation，因此可以将sub-layer的输出表示为
  
• Decoder和Encoder的结构差不多，但是多了一个attention的sub-layer，这里先明确一下decoder的输入输出和解码过程：
  输出：对应i位置的输出词的概率分布
  输入：encoder的输出 & 对应i-1位置decoder的输出。所以中间的attention不是self-attention，它的K，V来自encoder，Q来自上一位置decoder的输出
  解码：这里要特别注意一下，编码可以并行计算，一次性全部encoding出来，但解码不是一次把所有序列解出来的，而是像rnn一样一个一个解出来的，因为要用上一个位置的输入当作attention的query