tensorflow——CNN旅游文本分类

CNN基本介绍

1. CNN(卷积神经网路)是在近两年才用在文本处理上面的,本次实验中用tensorflow和keras分别实现了文本处理。

tensorflow中,主要分为词嵌入层、卷积层、池化层和全连接层,要真正理解CNN首先要弄明白每个参数的作用,以及他每一步作用的方式和物理意义。(盗图)

 根据此图来讲解释CNN在文本的实现:

1 CNN将文本内容按字读取,然后统计每个字出现的次数,并取现vocab_size大小,构成词汇表,使得每一个类别对应一个id,一个词对应一个id,从0开始计数。然后将文本文件内容转化为相对应的id等长(maxlength)的矩阵,每个文本对应的等级转化为(n,3)矩阵,由于文本的内容较大,一般我们分批次训练,可以更好地方便我们调参。

2.词嵌入层,词向量的表示方式有3种,CNN-rand、CNN-static、CNN-non-static,我们的方法是首先随机初始化embeddings矩阵(二维矩阵),通过tf.nn.embedding_lookup函数将输入序列转换成WordEmbedding表示作为隐藏层的输入。初始化weights和biases,计算隐藏层的输出。然后计算输出和target结果的交叉熵,使用GradientDescentOptimizer完成一次反向传递,更新可训练的参数,包括embeddings变量。在Validate过程中,对测试数据集中的单词,利用embeddings矩阵计算测试单词和所有其他单词的相似度,输出相似度最高的几个单词,看看它们相关性如何,作为一种验证方式。此时我们文本数据变为【每一批次的个数,文本序列长度】,然后再词嵌入层进行词向量映射,嵌入层的输入为【每一批次的个数,文本序列长度】的id值,构建词向量的表,然后根据id映射到词向量表的内容,此时我们表中每一行等同于图中的第一行

3 卷积层,这里用的是一维的卷积,他的宽度便是序列长度,滑动窗口(卷积核&

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值