基于机器学习的文本分类算法的研究

1. 简述

文本分类的方法属于有监督的学习方法，分类过程包括文本预处理、特征抽取、降维、分类和模型评价。本文首先研究了文本分类的背景，中文分词算法。然后是对各种各样的特征抽取进行研究，包括词项频率-逆文档频率和word2vec，降维方法有主成分分析法和潜在索引分析，最后是对分类算法进行研究，包括朴素贝叶斯的多变量贝努利模型和多项式模型，支持向量机和深度学习方法。深度学习方法包括多层感知机，卷积神经网络和循环神经网络。

2. 背景

目前，人工智能发展迅猛，在多个领域取得了巨大的成就，比如自然语言处理，图像处理，数据挖掘等。文本挖掘是其中的一个研究方向。根据维基百科的定义，文本挖掘也叫文本数据挖掘，或是文本分析，是从文本中获取高质量信息的过程，典型的任务有文本分类、自动问答、情感分析、机器翻译等。文本分类是将数据分成预先定义好的类别，一般流程为：1. 预处理，比如分词，去掉停用词；2. 文本表示及特征选择；3. 分类器构造；4. 分类器根据文本的特征进行分类；5. 分类结果的评价。

由于近年来人工智能的快速发展，文本分类技术已经可以很好的确定一个未知文档的类别，而且准确度也很好。借助文本分类，可以方便进行海量信息处理，节约大量的信息处理费用。广泛应用于过滤信息，组织与管理信息，数字图书馆、垃圾邮件过滤等社会生活的各个领域。

3. 文本分类的过程

文本分类（Text Classification）利用有监督或是无监督的机器学习方法对语料进行训练，获得一个分类模型，这个模型可以对未知类别的文档进行分类，得到预先定义好的一个或多个类别标签，这个标签就是这个文档的类别。

4. 预处理

本文处理的数据是文本，预处理是对文本数据进行处理，大都是非结构化的文本信息。预处理就是去除没用的信息，同时把有用文本信息用数字表示，这样才可以为计算机处理。文本预处理主要包括分词、去除停用词和特殊符号。英文的基本单位是单词，可以根据空格和标点符号进行分词，然后再提取词根和词干。中文的基本单位是字，需要一些算法来进行分词。现在主要的中文分词方法有：

（1）基于字符串匹配的分词方法[2]

该方法是将待分词的字符串从头或尾开始切分出子串，再与存有几乎所有中文词语的词典匹配，若匹配成功，则子串是一个词语。根据匹配位置的起点不同，分为正向最大匹配算法（Forward Maximum Matching