NLP笔记

本来是想要了解attention 机制的，论文看不下去；在B 站发现这个宝藏视频，讲解nlp的很清晰。
基础要从最底下开始打，不能一口气吃成胖子。

https://www.bilibili.com/video/BV17A411e7qL?p=2

• 用逻辑回归来进行0-1预测

sequential 模型的意思是把神经网络的层按顺序搭起来
先把one-hot 映射：embedding


vocabulary 是字典集的维度，embedding_v:dim 是词向量维度，word_num表示每个sequence的长度
其中v:


这一步设置完，我们可以得到输出是20 × 8 的矩阵 ；embedding层的参数数量为8W

flatten层将结果压扁，变成1*160的向量。
Dense 层，输出一个数，经过sigmod 激活函数映射为0-1的值

接着做编译compile，优化算法是RMSprop, 损失函数是 binary_crossentropy, 评价标准是acc
模型搭建好了，用训练数据拟合模型fit：

2w条训练，5k验证

训练完了之后，需要把测试数据作为输入：

• RNN 来实现同样的过程

RNN 的思想是 连续输入多个，依次处理每一个；
当前状态 = 前一个状态+当前词 然后状态会依次传递下去
x0 是词向量维度 =32 由自己指定
h0是输出的维度，维度也是自己指定 的
其中A的大小如下： 只有一个A，随机初始化；通过训练得到参数

retrun_sequences= false 表示只输出最后一个结果向量 ，将之前每一步向量扔掉

rnn分析：由于状态是前后传递的关系，后面的单词必定和之前所有输入单词都有关；
按理来说，如果改变前面单词，后面状态也会改变；
但实际上在两个距离很长的单词里，改变前一个对后一个的影响几乎为0，这是不合理的。
rnn 擅长序列短的预测，对于lpng-term 会失效