Tensorflow使用LSTM实现中文文本分类（1）

前言

使用Tensorflow，利用LSTM进行中文文本的分类。
数据集格式如下：
‘’’
体育 马晓旭意外受伤让国奥警惕 无奈大雨格外青睐殷家军记者傅亚雨沈阳报道 来到沈阳，国奥队依然没有摆脱雨水的困扰。…
‘’’
可以看出 label：体育，接着是一个 tab，最后跟随一段文字。
目标：传入模型一段文字，预测出这段文字所属类别。

数据集下载

中文文本分类数据集下载：https://download.csdn.net/download/missyougoon/11221027

文本预处理

1. 中文分词
2. 词语转化为 id ，embeding
   例如： 词语A 转化为 id（5）
   同时，将 label 转化 id
3. 统计词频

代码演示

# -*- coding:utf-8 -*-

import sys
import os
import jieba

# 输入文件
train_file = './news_data/cnews.train.txt'
val_file = './news_data/cnews.val.txt'
test_file = './news_data/cnews.test.txt'

# 分词结果
seg_train_file = './news_data/cnews.train.seg.txt'
seg_val_file = './news_data/cnews.val.seg.txt'
seg_test_file = './news_data/cnews.test.seg.txt'


# 词语 和 label到id 的 映射
vocab_file = './news_data/cnews.vocab.txt'
category_file = './news_data/cnews.category.txt'

#print(label)


def generate_seg_file(input_file, output_seg_file):
    '''
    生成分词之后的文本数据
    :param input_file: 待分词的输入文件
    :param output_seg_file:  已经分词完毕的文本
    :return:
    '''
    with open(input_file, 'r') as f:
        lines &