卷积神经网络文本分类算法

随着这几年深度学习的出现,人工智能也得到了更好的发展, 不知不觉已进入我们的生活,并且一点一点地影响着我们.之前待过一家公司里面主要是做ai算法项目.虽然负责的工程这块,几十种算法模型都有nlp和cv算法工程师开发.我们只是包装这些算法模型成一个个对外的服务,随着耳濡目染,慢慢地会去研究下平时这些算法是怎么训练的

1. 网络结构
卷积神经网络一般包括卷积层，池化层和全连接层,这些层通常我们叫做隐藏层

1.1卷积层
如图一个5x5的矩阵 通过一个3x3的卷积核的得到一个3x3的矩阵(为什么做卷积呢,我们把这个矩阵想象成一个rgb的图, 那么图片上每个色素值附近的值都是相近或相等的,那么我们完全可以只取某一部分特征,没必要使用全部提取,那样参数会很多成百上千亿的参数,而且参数过多也容易过拟合)

1.2池化层

池化层（pooling）的作用主要是降低维度，通过对卷积后的结果进行降采样来降低维度，分为最大池化和平均池化两类。

1.2.1 最大池化

最大池化顾名思义，降采样的时候采用最大值的方式采样，如图所示，其中池化核的大小为22，步长也为22
1.2.2 平均池化

平均池化就是用局部的平均值作为采样的值，还是上面的数据，平均池化后的结果为：

1.3全连接层

全连接层就是把卷积层和池化层的输出展开成一维形式，在后面接上与普通网络结构相同的回归网络或者分类网络，一般接在池化层后面，如图所示;

2.文本分类实战
在深度学习领域已经有多种框架本次才有谷歌的tensorflow来实现,在tensorflow有三个比较重要的概念

• tensor 张量输入的数据和那些参数都是tensor,就像我们做化学实验的化学物品
• graph 计算图就是整个网络结构的定义,包括输入层 隐藏层 输出层, 就像我们化学实验拼接的导管
• session 会话,我们要想run起来都要都过session.run()方法 就像加热化学物质

下图就是本次模型的计算图

首先通过embedding

然后做卷积操作 和池化

再是全连接层 和做dropout 和选择激活函数relu
后面通过 softmax 和 argmax 得到分类结果

…
再来一个详细图

3. 代码实战

# coding: utf-8

import tensorflow as tf


class TCNNConfig(object):
    """CNN配置参数"""

    embedding_dim = 64  # 词向量维度
    seq_length = 600  # 序列长度
    num_classes = 10  # 类别数
    num_filters = 256  # 卷积核数目
    kernel_size = 5  # 卷积核尺寸
    vocab_size = 5000  # 词汇表达小

    hidden_dim = 128  # 全连接层神经元

    dropout_keep_prob = 0.5  # dropout保留比例
    learning_rate = 1e-3  # 学习率

    batch_size = 64  # 每批训练大小
    num_epochs = 1  # 总迭代轮次

    print_per_batch = 100  # 每多少轮输出一次结果
    save_per_batch = 10  # 每多少轮存入tensorboard


class TextCNN(object):
    """文本分类，CNN模型"""

    def __init__(self, config):
        self.config = config

        # 三个待输入的数据
        self.input_x = tf.placeholder(tf.int32, [None, self.config.seq_length], name='input_x')
        self.input_y = tf.placeholder(tf.float32, [None, self.config.num_classes], name='input_y')
        self.keep_prob = tf.placeholder(tf.float32, name='keep_prob')

        self.cnn()

    def cnn(self):
        """CNN模型"""
        # 词向量映射
        with tf.device('/cpu:0'):
            embedding = tf.get_variable('embedding', [self.config.vocab_size, self.config.embedding_dim])
            embedding_inputs = tf.nn.embedding_lookup(embedding, self.input_x)

        with tf.name_scope("cnn"):
            # CNN layer
            conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, self.config.kernel_size, name='conv')
            # global max pooling layer
            gmp = tf.reduce_max(conv, reduction_indices=[1], name='gmp')

        with tf.name_scope("score"):
            # 全连接层，后面接dropout以及relu激活
            fc = tf.layers.dense(gmp, self.config.hidden_dim, name='fc1')
            fc = tf.contrib.layers.dropout(fc, self.keep_prob)
            fc = tf.nn.relu(fc)

            # 分类器 logits shape shape=(?, 10)
            self.logits = tf.layers.dense(fc, self.config.num_classes, name='fc2')

            # tf.nn.softmax 把logits 的数字变成总和等于1  tf.argmax取最大值的下标 准确率最高的
            self.y_pred_cls_min = tf.nn.softmax(self.logits)  # 预测类别
            self.y_pred_cls = tf.argmax(self.y_pred_cls_min, 1)  # 预测类别

        with tf.name_scope("optimize"):
            # 损失函数，交叉熵
            cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=self.logits, labels=self.input_y)
            self.loss = tf.reduce_mean(cross_entropy)
            # 优化器
            self.optim = tf.train.AdamOptimizer(learning_rate=self.config.learning_rate).minimize(self.loss)

        with tf.name_scope("accuracy"):
            # 准确率
            correct_pred = tf.equal(tf.argmax(<