随着这几年深度学习的出现,人工智能也得到了更好的发展, 不知不觉已进入我们的生活,并且一点一点地影响着我们.之前待过一家公司里面主要是做ai算法项目.虽然负责的工程这块,几十种算法模型都有nlp和cv算法工程师开发.我们只是包装这些算法模型成一个个对外的服务,随着耳濡目染,慢慢地会去研究下平时这些算法是怎么训练的
1. 网络结构
卷积神经网络一般包括卷积层,池化层和全连接层,这些层通常我们叫做隐藏层
1.1卷积层
如图一个5x5的矩阵 通过一个3x3的卷积核的得到一个3x3的矩阵(为什么做卷积呢,我们把这个矩阵想象成一个rgb的图, 那么图片上每个色素值附近的值都是相近或相等的,那么我们完全可以只取某一部分特征,没必要使用全部提取,那样参数会很多成百上千亿的参数,而且参数过多也容易过拟合)
1.2池化层
池化层(pooling)的作用主要是降低维度,通过对卷积后的结果进行降采样来降低维度,分为最大池化和平均池化两类。
1.2.1 最大池化
最大池化顾名思义,降采样的时候采用最大值的方式采样,如图所示,其中池化核的大小为22,步长也为22
1.2.2 平均池化
平均池化就是用局部的平均值作为采样的值,还是上面的数据,平均池化后的结果为:
1.3全连接层
全连接层就是把卷积层和池化层的输出展开成一维形式,在后面接上与普通网络结构相同的回归网络或者分类网络,一般接在池化层后面,如图所示;
2.文本分类实战
在深度学习领域已经有多种框架本次才有谷歌的tensorflow来实现,在tensorflow有三个比较重要的概念
- tensor 张量输入的数据和那些参数都是tensor,就像我们做化学实验的化学物品
- graph 计算图就是整个网络结构的定义,包括输入层 隐藏层 输出层, 就像我们化学实验拼接的导管
- session 会话,我们要想run起来都要都过session.run()方法 就像加热化学物质
下图就是本次模型的计算图
首先通过embedding
然后做卷积操作 和池化
再是全连接层 和做dropout 和选择激活函数relu
后面通过 softmax 和 argmax 得到分类结果
…
再来一个详细图
3. 代码实战
# coding: utf-8
import tensorflow as tf
class TCNNConfig(object):
"""CNN配置参数"""
embedding_dim = 64 # 词向量维度
seq_length = 600 # 序列长度
num_classes = 10 # 类别数
num_filters = 256 # 卷积核数目
kernel_size = 5 # 卷积核尺寸
vocab_size = 5000 # 词汇表达小
hidden_dim = 128 # 全连接层神经元
dropout_keep_prob = 0.5 # dropout保留比例
learning_rate = 1e-3 # 学习率
batch_size = 64 # 每批训练大小
num_epochs = 1 # 总迭代轮次
print_per_batch = 100 # 每多少轮输出一次结果
save_per_batch = 10 # 每多少轮存入tensorboard
class TextCNN(object):
"""文本分类,CNN模型"""
def __init__(self, config):
self.config = config
# 三个待输入的数据
self.input_x = tf.placeholder(tf.int32, [None, self.config.seq_length], name='input_x')
self.input_y = tf.placeholder(tf.float32, [None, self.config.num_classes], name='input_y')
self.keep_prob = tf.placeholder(tf.float32, name='keep_prob')
self.cnn()
def cnn(self):
"""CNN模型"""
# 词向量映射
with tf.device('/cpu:0'):
embedding = tf.get_variable('embedding', [self.config.vocab_size, self.config.embedding_dim])
embedding_inputs = tf.nn.embedding_lookup(embedding, self.input_x)
with tf.name_scope("cnn"):
# CNN layer
conv = tf.layers.conv1d(embedding_inputs, self.config.num_filters, self.config.kernel_size, name='conv')
# global max pooling layer
gmp = tf.reduce_max(conv, reduction_indices=[1], name='gmp')
with tf.name_scope("score"):
# 全连接层,后面接dropout以及relu激活
fc = tf.layers.dense(gmp, self.config.hidden_dim, name='fc1')
fc = tf.contrib.layers.dropout(fc, self.keep_prob)
fc = tf.nn.relu(fc)
# 分类器 logits shape shape=(?, 10)
self.logits = tf.layers.dense(fc, self.config.num_classes, name='fc2')
# tf.nn.softmax 把logits 的数字变成总和等于1 tf.argmax取最大值的下标 准确率最高的
self.y_pred_cls_min = tf.nn.softmax(self.logits) # 预测类别
self.y_pred_cls = tf.argmax(self.y_pred_cls_min, 1) # 预测类别
with tf.name_scope("optimize"):
# 损失函数,交叉熵
cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=self.logits, labels=self.input_y)
self.loss = tf.reduce_mean(cross_entropy)
# 优化器
self.optim = tf.train.AdamOptimizer(learning_rate=self.config.learning_rate).minimize(self.loss)
with tf.name_scope("accuracy"):
# 准确率
correct_pred = tf.equal(tf.argmax(<