人工智能学习笔记Day2

1.自然语言处理：谷歌提出词向量模型，把每一个词语转化成相应维度的向量用来进行特征表达，相似的词语在特征表达（向量）中比较相似，也就是说词的特征是有实际意义的。

2.训练阶段，NLP中会更新权重参数和输入数据（为了训练出更准确的模型），CV中反向传播只会更新权重参数

3.NLP重要的是训练出上下文词向量的含义，并且一个词语在不同的文本中的含义可能大体相差不大

4.NLP一般就是分类任务

5.负采样：例：“今天打你”，“今天”和“你”的上下文“打”需要训练出来，那么“打”为正样本，“扇”，“踢”，“骂”，“揍”等为负样本，那么这样容易导致正样本很少，负样本巨多，这个时候可以从大量的负样本中选择少量的样本作为负样本，那么这个时候分类问题就变得简单一些了。

6.hard negative：在选择负样本时，选择和正样本比较相近的词语，给模型增加难度，以至于训练出更准确的模型

7.Embedding：把输入词转成词向量的形式

8.RNN：循环神经网络，后面的输入接收到了每一层的上一层输入，这样就包含了这个句子整体的语境和含义

9.RNN每一层都有输出，但是一般取最后一层的输出结果

10.RNN：串行结构，缺点是每一个下层需要上一层的结果，网络的反向传播比较慢，容易发生梯度消失，导致网络难以学习。RNN的特点还决定了它无法做很多层。

11.LSTM：RNN的升级版本，目前也已被淘汰 

12.RNN中每个词向量的长度需要是固定的