NLP文本分类入门学习及TextCnn实践笔记——代码实现（二）

本篇主要介绍TextCnn针对中文的分本分类的代码实现。下一篇计划讲模型训练及线上文本分类。

代码基于开源代码 https://github.com/dennybritz/cnn-text-classification-tf

 

建议对NLP文本分类或CNN不了解的先阅读我的上一篇blog及以下的大神blog ：

NLP文本分类入门学习及TextCnn实践笔记（一）

https://blog.csdn.net/wangyueshu/article/details/106493048

参考的大神blog：

NLP文本分类常用模型总结：https://blog.csdn.net/liuchonge/article/details/77140719

Cnn原理讲解：https://zhuanlan.zhihu.com/p/77634533?from_voters_page=true

代码理解参考大神：http://blog.csdn.net/liuchonge/article/details/60333323

 

正文：

原TextCnn的开源代码中处理的是英文的文本分类。上篇中讲过，要做文本分类主要几步：文本预处理，词嵌入（分词、词向量和word embedding），特征学习。而中英文的文本分类差别主要就集中在文本预处理、词嵌入上。

根据大神的代码分析，需要调整的主要是三个文件data_helper.py、train.py和text_cnn.py。看代码可以从train.py看起，模型训练的入口，方便将整体逻辑串联起来。我理解的与中文化有关的部分代码流程如下图：

第一步 数据清洗。

先对数据进行清洗，也就是文本预处理，去除掉不必要的表情、符号、链接等，并进行同义词替换，在我的应用场景中这一应用对模型的效果非常重要，这是后话。

第二步 生成词典及样本向量。

代码对正负训练样本（n条正样本，m条负样本）中涉及到的所有词生成一个词典，格式如下，每个词都有自己的一个唯一编号。

{'<UNK>': 0, '春季': 1, '落下': 2, '已': 3, '你': 4, '刀塔': 5, '先峰': 6, '夏季': 7, '彩票': 8, '棋牌': 9, '来': 10, '自己': 11, '各种': 12, '得': 13, '等等': 14, '王者': 15,'喜欢':16,...}

然后每一个样本就可以生成一个样本向量，向量长度就是训练样本中那个包含词最多的样本的词个数，即最大文本长度(不是字节长度，是词个数)。

假设最大文本长度是6，正样本“你喜欢刀塔”的样本向量就是[4, 16, 5，0，0，0]，不够长的部分拿0补齐。

关于VocabularyProcessor的理解请参考：https://www.jianshu.com/p/db400a569730

这里涉及到一个关键问题就是“词”是怎么来的，也就是分词。后面说。

第三步 词向量张量。

有了词典，也有了样本向量。本个词还需要一个向量表示，也就是词向量。词向量携带的信息越充分越好，这里采用wordvec2。然后对照着词典，这个词向量张量每行就分别是0向量、词“春季”的向量、“落下”的向量...。如果词找不到词向量则用0向量。

对于分词及词向量的理解参见上篇。

第四步 词嵌入。

通过词典和词向量张量。只要有样本向量，就能通过编号对应到这个样本顺次由什么词组成，词的向量是什么。然后通过tensorflow提供的embedding函数完成了词嵌入。

原理说完了。我们具体看看代码。

1. data_helper.py

文件中包含了三个方法clean_str、load_data_and_labels、batch_iter。

clean_str：数据清洗方法，这里实现符号等无用信息剔除，同义词替换等信息矫正等。

这里就针对中文重写clean_str。就是一些正则匹配和替换。

load_data_and_labels：调用数据清洗方法，加上标签信息返回。

batch_iter：按照训练参数，打散数据，生成训练用的一个个数据包。

这里涉及两个核心参数，batch_size，num_epochs，影响这训练模式和训练时长。

batch_size：一次训练多少条样本，模型中默认64条。

num_epochs：训练纪元数，即一个样本要参与多少次训练。

假设正负样本总共有4000条。最后的step数就是（4000/64）*200=12500步。

2. train.py

原代码：
# Build vocabulary
max_document_length = max([len(x.split(" ")) for x in x_text])
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length)
x = np.array(list(vocab_processor.fit_transform(x_text)))

修改后的代码
# Build vocabulary
max_document_length = max([len(jiebafenci.jiebafenci(x)) for x in x_text])
vocab_processor = learn.preprocessing.VocabularyProcessor(max_document_length, tokenizer_fn=jiebafenci.jiebafenci_fn)
x = np.array(list(vocab_processor.fit_transform(x_text)))

这三条语句做的事情就是上面原理部分讲到的生成词典（前两行代码）和样本向量（第3行代码）

可以看到中英文核心的差别就是在分词上。

英文空格间隔就是不同的词，所以分词就是x.split(" ")。但中文博大精深，需要专业的分词，这里使用的是jieba分词，并引入自定义词典和停止词（这两个配置对于后续的模型调优非常重要，后话）

另外，jiebafenci的方法要自己实现。计算词个数的分词方法和VocabularyProcessor传参的分词方法不能用一个，后者可参照默认的tokenizer_fn实现。

3. text_cnn.py

原代码：

# Embedding layer
with tf.device('/cpu:0'), tf.name_scope("embedding"):
     self.W = tf.Variable(
tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),
name="W")
     self.embedded_chars = tf.nn.embedding_lookup(self.W, self.input_x)
     self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1)

修改之后的代码：

z = np.zeros((1, 300), dtype=float) #word2vec的词向量是300纬
m = z#初始化词表，第一个0向量对应'<UNK>'

#加载词向量
w2v_model = gensim.models.KeyedVectors.load_word2vec_format('./model/sgns.weibo.word')

#样本生成的词库-词向量索引张量
self.W = tf.Variable(
    tf.random.uniform([len(vocab_processor.vocabulary_), embedding_size], -1.0, 1.0),
    name="W")

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    #先将每个词的词向量放到numpy中
    non_count=0
    for (k, v) in vocab_processor.vocabulary_._mapping.items():

        if k != '<UNK>':
            try:
                vec = w2v_model.get_vector(str(k).strip())
                v = np.mat(vec)
                m = np.concatenate((m, v), axis=0)
            except:
                print("can not find ", k, "word2vec value")
                non_count=non_count+1
                m = np.concatenate((m, z), axis=0)
    #加载到张量中
    print("找不到词向量的词个数：",non_count)
    self.W.load(m)

# Embedding layer
with tf.device('/cpu:0'), tf.name_scope("embedding"):
    # self.W = tf.Variable(
    #     tf.random_uniform([self.vocab_size, embedding_size], -1.0, 1.0),
    #     name="W")
    self.embedded_chars = tf.nn.embedding_lookup(self.W, self.input_x)
    self.embedded_chars_expanded = tf.expand_dims(self.embedded_chars, -1)

这一部分实现的是词向量张量的生成。中英文处理的差异主要在词向量上。

原文中英文词向量是使用的tensorflow生成的随机向量。因为只要词向量唯一，就可以初步满足词向量的使用需求，但是词义和词距离的信息就完全没有。

因此中文的场景中引入了wordvec2的词向量（模型文件自己下载，上篇文里有）。代码需要完成的就是为词典中每一个词查到词向量，然后拼成词向量张量。wordvec2中找不到词向量的就用0向量代替。

关键点：

embedding_dim： 词嵌入向量纬度。原文中选取的128。这个值要跟词向量的纬度一致，我选用的wordvec2中词向量的纬度是300，因此这个模型参数要改成300。

这三处改完了，准备好训练样本，就可以开始模型训练了。

 

 

后续篇章将介绍模型训练和服务化封装的内容。