学习笔记TF019:序列分类、IMDB影评分类

序列分类，预测整个输入序列的类别标签。情绪分析，预测用户撰写文字话题态度。预测选举结果或产品、电影评分。

国际电影数据库(International Movie Database)影评数据集。目标值二元，正面或负面。语言大量否定、反语、模糊，不能只看单词是否出现。构建词向量循环网络，逐个单词查看每条评论，最后单词话性值训练预测整条评论情绪分类器。

斯担福大学人工智能实验室的IMDB影评数据集: http://ai.stanford.edu/~amaas/data/sentiment/ 。压缩tar文档，正面负面评论从两个文件夹文本文件获取。利用正则表达式提取纯文本，字母全部转小写。

词向量嵌入表示，比独热编码词语语义更丰富。词汇表确定单词索引，找到正确词向量。序列填充相同长度，多个影评数据批量送入网络。

序列标注模型，传入两个占位符，一输入数据data或序列，二目标值target或情绪。传入配置参数params对象，优化器。

动态计算当前批数据序列长度。数据单个张量形式，各序列以最长影评长度补0。绝对值最大值缩减词向量。零向量，标量0。实型词向量，标量大于0实数。tf.sign()离散为0或1。结果沿时间步相加，得到序列长度。张量长度与批数据容量相同，标量表示序列长度。

使用params对象定义单元类型和单元数量。length属性指定向RNN提供批数据最多行数。获取每个序列最后活性值，送入softmax层。因每条影评长度不同，批数据每个序列RNN最后相关输出活性值有不同索引。在时间步维度(批数据形状sequences*time_steps*word_vectors)建立索引。tf.gather()沿第1维建立索引。输出活性值形状sequences*time_steps*word_vectors前两维扁平化(flatten)，添加序列长度。添加length-1,选择最后有效时间步。

梯度裁剪，梯度值限制在合理范围内。可用任何中分类有意义代价函数，模型输出可用所有类别概率分布。增加梯度裁剪(gradient clipping)改善学习结果，限制最大权值更新。RNN训练难度大，不同超参数搭配不当，权值极易发散。

TensorFlow支持优化器实例compute_gradients函数推演，修改梯度，apply_gradients函数应用权值变化。梯度分量小于-limit，设置-limit；梯度分量在于limit，设置limit。TensorFlow导数可取None，表示某个变量与代价函数没有关系，数学上应为零向量但None利于内部性能优化，只需传回None值。

影评逐个单词送入循环神经网络，每个时间步由词向量构成批数据。batched函数查找词向量，所有序列长度补齐。训练模型，定义超参数、加载数据集和词向量、经过预处理训练批数据运行模型。模型成功训练，取决网络结构、超参