关键词:非图像识别,RNN,TensorFlow,代码,句子分类,NLP、
【注意】这是一个测试数据没有实际意义,所以需要实际数据的请看我的其他博客里有说明
有问题的留言问我就好。
最近在看RNN的句子分类,发现网上的代码各种讲解不清楚,于是花了点时间试了试改了改网上的代码,总算对TensorFlow下的RNN有一个了解。
机器学习三大关键点,数据格式,loss定义,网络结构。我们在用tf或其他框架的时候依然只要注意这3个点就可以很容易的解决问题,理解网络。
这次我用的代码基于网上的一个普遍代码-RNN识别mnist图像,原代码的数据是图片单位,每次将一个图片放入RNN,每个时间步放入一行或一列。最后接上一个MLP转化成2分类。我的代码改了数据格式,换成通用的句子序列,用来做文本分类。
原代码中有一个RNN之前的W 和RNN之后的W,也就是说RNN的上下各有一层。RNN的上层我觉得并不需要所以在代码里没有用到,但是定义保留,RNN的下层是用来映射到二分类的softmax网络所以是必须的。
RNN的基本知识这里就不展开讲了,主要关注一下RNN的结构就行了。
数据格式:
y为【0,1】或【1,0】二分类
x为【‘100’,‘1’,‘23’,‘32’....,'55'】是一个id字符串型的序列
根据id平均数大小给序列分类。id比较大的 分成一类,比较小的为另一类别。
因为生成数据来自程序,所以理论上模型可以达到100%accuracy。数据量可以自己随意设置,如果不太懂数据的格式可以用pychram的debug模型看看。
实际上模型可以学习到不同id对应的实际word embeding。id大的word的word embedding可能就比较大。
注意这是一个测试数据没有实际意义,所以需要实际数据的请看我的其他博客里有说明
代码如下
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
# set random seed for comparing the two result calculations
tf.set_random_seed(1)
# this is data
MAX_SENTENCE_LENGTH =15
MAX_FEATURES = 150
# hyperparameters
lr = 0.001
training_iters = 100000
batch_size = 127
vocab_size = 200
embedding_size = 100
n_inputs = embedding_size # MNIST data input (img shape: 28*28)
n_steps = MAX_SENTENCE_LENGTH # time steps
n_hidden_units = 128 #