机器学习文本分类

最新推荐文章于 2024-04-11 10:15:40 发布

黑曜石小刀

最新推荐文章于 2024-04-11 10:15:40 发布

阅读量729

点赞数

分类专栏： python 文章标签：自然语言处理机器学习

本文链接：https://blog.csdn.net/weixin_43974261/article/details/114946586

版权

python 专栏收录该内容

8 篇文章 1 订阅

订阅专栏

文本预处理

是比较重要的步骤，对分类效果的影响至关重要。预处理就是去除没用的信息，同时把有用文本信息用数字表示，这样才可以为计算机处理。文本预处理主要包括分词、去除停用词和特殊符号。

分词

英文分词

英文的基本单位是单词，可以根据空格和标点符号进行分词，然后再提取词根和词干。

中文分词

中文的基本单位是字，需要一些算法来进行分词：

基于词典与规则的方法

基于统计的方法

基于理解的分词算法

去停用词

指文本处理过程中遇到立即进行处理将它们扔掉的词，主要包括数字、数学符号、虚词以及文本中的高频词。其中，虚词包括语气助词、连词、介词、副词等，它们本身没有实际意义，不能单独表达文本的相关信息，与文本类别没有关联，在考虑每一个词的文本处理过程中基本没有帮助。删除它们可以有效地节省存储空间，并且提高关键词密度。文本中的高频词是指在所有类别中频繁出现的词，例如英语中的“we”、“use”、“like”，中文中的“可以”、“自己”、“按照”等。它们在每个类中都出现多次，不具有区分类别的能力。目前去停用词的方法是构建停用词表，根据停用词表对要进行分类的文本进行处理，从文本中将出现在停用词表中的词删除。

文本表示

布尔模型

布尔模型将文本表示为一个特征词序列，它认为特征词在文本中只存在两种状态，即出现和不出现，若特征词在文本中出现，将特征词设为 0，若特征词在文本中未出现，将特征词设为 1。这种方法虽然很简洁方便，但也存在很大的缺陷，导致对文本内容的分析太过于片面，有较高的局限性，在实际研究中一般情况下不会单独应用。

向量空间模型（Vector Space Model ，VSM）

VSM模型指将文本中出现的单词用向量表示，每一篇文本就是一个向量，其中的每一列是文本中特征词出现的个数，重复的特征词在向量中只出现一次。（文本d={w1，w2,…wn}）

词袋模型

如：“We have bigger houses,but smaller families;more conveniences,but less time;we have more degrees,but less common sense;more knowledge,but less judgement;more experts,but more problems;more medicine,but less wellness.”用词频表示成文本向量的形式为：

在这里插入图片描述

但在实际应用中，很多词都不会出现，所以实际是一个稀疏矩阵

在这里插入图片描述

每一行表示一篇文章，每一列为一个特征词。

$[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f8LernFg-1615982124684)(C:\Users\93751\AppData\Roaming\Typora\typora-user-images\1610262240999.png)]$

词向量模型（Word Embedding）

embedding矩阵可以是自己随机生成的也可以用训练后的embedding，随机的embedding并不精确。将文本中的单词替换为embedding中单词对应的向量。得到一个单词数*embedding_dim的矩阵。首先为文本中的词设置索引，每个单词有独自的索引，如果是自动生成的embedding则直接将单词替换为embedding中与词的索引对应行的值，就会将二维的矩阵转换为3维的数据。

在这里插入图片描述