使用scikit-learn进行文本分类

最新推荐文章于 2023-01-29 23:00:00 发布
最新推荐文章于 2023-01-29 23:00:00 发布
阅读量354 收藏
点赞数
文章标签： 人工智能 python 数据结构与算法
原文链接：https://my.oschina.net/ZoeyZhong/blog/789896
版权

scikit-learn简介

scikit-learn是Python最为流行的一个机器学习库。它具有如下吸引人的特点：

 

  • 简单、高效且异常丰富的数据挖掘/数据分析算法实现；
  • 基于NumPy,SciPy,以及matplotlib，从数据探索性分析，数据可视化到算法实现，整个过程一体化实现；
  • 开源，有非常丰富的学习文档。

尤其是当我们要进行多种算法的效果对比评价，这种一体化实现的优势就更加能够凸显出来了。

 

既然scikit-learn模块如此重要，废话不多说，下面马上开搞！

项目组织及文件加载

 

项目组织

 

工作路径：`D:\my_python_workfile\Thesis\sklearn_exercise`


|--data：用于存放数据


    |--20news-bydate：练习用数据集
                |--20news-bydate-train：训练集
                |--20news-bydate-test：测试集

文件加载

 

假设我们需要加载的数据，组织结构如下：

container_folder/
    category_1_folder/
        file_1.txt file_2.txt ... file_42.txt
    category_2_folder/
        file_43.txt file_44.txt ...

可以使用以下函数进行数据的加载：

sklearn.datasets.load_files(container_path, description=None, categories=None, load_content=True, shuffle=True, encoding=None, decode_error='strict', random_state=0)
  • 参数解释：
    • `container_path`:container_folder的路径；
    • `load_content = True`:是否把文件中的内容加载到内存；
    • `encoding = None`:编码方式。当前文本文件的编码方式一般为“utf-8”，如果不指明编码方式（encoding=None），那么文件内容将会按照bytes处理，而不是unicode处理。


 

  • 返回值：Bunch Dictionary-like object.主要属性有
    • data:原始数据；
    • filenames:每个文件的名字；
    • target:类别标签（从0开始的整数索引）；
    • target_names:类别标签的具体含义（由子文件夹的名字`category_1_folder`等决定）。

 

下面，即采用这种方式，使用测试数据集[The 20 Newsgroups data set](Home Page for 20 Newsgroups Data Set)进行实例演示。先从网上下载该数据集，再在本地进行数据的加载。

作者：黄耀鹏
链接：https://zhuanlan.zhihu.com/p/20757320
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

```python
# 加载库
import os
import sys

##配置utf-8输出环境
#reload(sys)
#sys.setdefaultencoding("utf-8")

# 设置当前工作路径
os.chdir("D:\\my_python_workfile\\Thesis\\sklearn_exercise")

# 加载数据
from sklearn import datasets
twenty_train = datasets.load_files("data/20news-bydate/20news-bydate-train")
twenty_test = datasets.load_files("data/20news-bydate/20news-bydate-test")
```


```python
len(twenty_train.target_names),len(twenty_train.data),len(twenty_train.filenames),len(twenty_test.data)
```

(20, 11314, 11314, 7532)

 

```python
print("\n".join(twenty_train.data[0].split("\n")[:3]))
```

 

From: cubbie@garnet.berkeley.edu ( )

Subject: Re: Cubs behind Marlins? How?

Article-I.D.: agate.1pt592$f9a

 

```python
print(twenty_train.target_names[twenty_train.target[0]])
```

rec.sport.baseball

 

```python
twenty_train.target[:10]
```

array([ 9, 4, 11, 4, 0, 4, 5, 5, 13, 12])

可见，文件已经被成功载入。

当然，作为入门的训练，我们也可以使用`scikit-learn`自带的`toy example`数据集进行测试、玩耍。下面，介绍一下如何加载自带的数据集。

```python
from sklearn.datasets import fetch_20newsgroups

categories = ['alt.atheism', 'soc.religion.christian',
              'comp.graphics', 'sci.med']
twenty_train = fetch_20newsgroups(subset='train',
    categories=categories, shuffle=True, random_state=42)
```

 

文本特征提取

作者：黄耀鹏
链接：https://zhuanlan.zhihu.com/p/20757320
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

文本数据属于非结构化的数据，一般要转换成结构化的数据，方能进行实施机器学习算法实现文本分类。

 

常见的做法是将文本转换成『文档-词项矩阵』。矩阵中的元素，可以使用词频，或者TF-IDF值等。

计算词频

```python
from sklearn.feature_extraction.text import CountVectorizer
count_vect = CountVectorizer(stop_words="english",decode_error='ignore')
X_train_counts = count_vect.fit_transform(twenty_train.data)
X_train_counts.shape
```

(11314, 129783)

使用TF-IDF进行特征提取

```python
from sklearn.feature_extraction.text import TfidfTransformer

tf_transformer = TfidfTransformer(use_idf = False).fit(X_train_counts)
X_train_tf = tf_transformer.transform(X_train_counts)
X_train_tf.shape
```
(11314, 129783)

以上程序使用了两步进行文本的形式化表示：先用`fit()`方法使得模型适用数据；再用`transform()`方法把词频矩阵重新表述成TF-IDF.

如下所示，也可以一步到位进行设置。

```python
tfidf_transformer = TfidfTransformer()
X_train_tfidf = tfidf_transformer.fit_transform(X_train_counts)
X_train_tfidf.shape
```

(11314, 129783)]

 

分类器训练

```python
from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB().fit(X_train_tfidf,twenty_train.target)
```

```python
# 对新的样本进行预测
docs_new = ['God is love','OpenGL on the GPU is fast']
X_new_counts = count_vect.transform(docs_new)
X_new_tfidf = tfidf_transformer.transform(X_new_counts)

predicted = clf.predict(X_new_tfidf)

for doc,category in zip(docs_new,predicted):
    print("%r => %s") %(doc,twenty_train.target_names[category])

```

'God is love' => soc.religion.christian

'OpenGL on the GPU is fast' => comp.graphics

分类效果评价

建立管道

```python
from sklearn.pipeline import Pipeline
text_clf = Pipeline([('vect',CountVectorizer(stop_words="english",decode_error='ignore')),
                    ('tfidf',TfidfTransformer()),
                    ('clf',MultinomialNB()),
                    ])

text_clf = text_clf.fit(twenty_train.data,twenty_train.target)
```

测试集分类准确率

```python
import numpy as np
docs_test = twenty_test.data
predicted = text_clf.predict(docs_test)
np.mean(predicted == twenty_test.target)
```

0.81691449814126393

使用朴素贝叶斯分类器，得到的测试集分类准确率为81.7%，效果还不错！

下面，使用线性核支持向量机看看效果如何。

```python
from sklearn.linear_model import SGDClassifier
text_clf_2 = Pipeline([('vect',CountVectorizer(stop_words='english',decode_error='ignore')),
                      ('tfidf',TfidfTransformer()),
                      ('clf',SGDClassifier(loss = 'hinge',penalty = 'l2',
                                          alpha = 1e-3,n_iter = 5, random_state = 42)),
                      ])

_ = text_clf_2.fit(twenty_train.data,twenty_train.target)
predicted = text_clf_2.predict(docs_test)

np.mean(predicted == twenty_test.target)
```
0.82355284121083383

支持向量机的分类准确率有所提升。

`scikit-learn`中提供了更精细化的评价指标，如：各类别的精确度，召回率，F值等。

下面，我们来看看更详细的指标表现如何。

```python
from sklearn import metrics
print(metrics.classification_report(twenty_test.target,predicted,
                                   target_names = twenty_test.target_names))
```

precision recall f1-score support

alt.atheism 0.71 0.71 0.71 319

comp.graphics 0.81 0.69 0.74 389

comp.os.ms-windows.misc 0.72 0.79 0.75 394

comp.sys.ibm.pc.hardware 0.73 0.66 0.69 392

comp.sys.mac.hardware 0.82 0.83 0.82 385

comp.windows.x 0.86 0.77 0.81 395

misc.forsale 0.80 0.87 0.84 390

rec.autos 0.91 0.90 0.90 396

rec.motorcycles 0.93 0.97 0.95 398

rec.sport.baseball 0.88 0.91 0.90 397

rec.sport.hockey 0.87 0.98 0.92 399

sci.crypt 0.85 0.96 0.90 396

sci.electronics 0.80 0.62 0.70 393

sci.med 0.90 0.87 0.88 396

sci.space 0.84 0.96 0.90 394

soc.religion.christian 0.75 0.93 0.83 398

talk.politics.guns 0.70 0.93 0.80 364

talk.politics.mideast 0.92 0.92 0.92 376

talk.politics.misc 0.89 0.56 0.69 310

talk.religion.misc 0.81 0.39 0.53 251

avg / total 0.83 0.82 0.82 7532

测试集的精确度和召回率的表现均不错.

下面看看『混淆矩阵』的结果。

```python
metrics.confusion_matrix(twenty_test.target,predicted)
```

使用网格搜索进行参数优化

我们使用分类器进行文本分类的过程中，有些参数需要预先给定。如前面`TfidfTransformer()`中的`use_idf`;`MultinomialNB()`中的平滑参数`alpha`;`SGClassifier()`中的惩罚系数`alpha`。然而，参数设置为多少,并不能直接拍脑袋决定。因为参数的设置可能会导致结果天差地别。

为了不沦落为一个『调参狗』，我们来看看如何使用暴力的『网格搜索算法』让计算机帮我们进行参数寻优。

```python
from sklearn.grid_search import GridSearchCV
parameters = {
            'vect__ngram_range':[(1,1),(1,2)],
             'tfidf__use_idf':(True,False),
             'clf__alpha':(1e-2,1e-3)
             }
```

如果要穷尽所有参数的组合，那势必要花费很多时间来等待结果。有的『土豪』同学可能会想：我能不能用金钱来换时间？

答案是肯定的。如果你有一台8核的电脑，那就把所有的核都用上吧！

```python
gs_clf = GridSearchCV(text_clf_2,parameters,n_jobs = -1)
```
```python
gs_clf = gs_clf.fit(twenty_train.data,twenty_train.target)
```

设置`n_jobs = -1`，计算机就会帮你自动检测并用上你所有的核进行并行计算。

```python
best_parameters,score,_ = max(gs_clf.grid_scores_,key = lambda x:x[1])
for param_name in sorted(parameters.keys()):
    print("%s: %r" %(param_name,best_parameters[param_name]))
```

clf__alpha: 0.01

tfidf__use_idf: True

vect__ngram_range: (1, 1)

```python
score
```
0.90516174650875025

参考文献


作者：黄耀鹏
链接：https://zhuanlan.zhihu.com/p/20757320
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

转载于:https://my.oschina.net/ZoeyZhong/blog/789896

chuanjiang9220
关注
使用Scikit-learn进行文本分类
FdmPatch的博客
09-17 136
在本文中，我们将使用一个常见的数据集，名为20类新闻（20 Newsgroups），该数据集包含20个不同类别的新闻文本。在本文中，我们将使用一个常见的数据集，名为20类新闻（20 Newsgroups），该数据集包含20个不同类别的新闻文本。Scikit-learn是一个功能强大的Python库，提供了一系列用于机器学习的工具和算法，包括文本分类。给定一个新的文本样本，我们可以将其转换为特征向量，并使用分类器预测其所属类别。给定一个新的文本样本，我们可以将其转换为特征向量，并使用分类器预测其所属类别。
应用scikit-learn做文本分类
热门推荐
Rachel Zhang的专栏
04-13 9万+
文本挖掘的paper没找到统一的benchmark，只好自己跑程序，走过路过的前辈如果知道20newsgroups或者其它好用的公共数据集的分类（最好要所有类分类结果，全部或取部分特征无所谓）麻烦留言告知下现在的benchmark，万谢！ 嗯，说正文。20newsgroups官网上给出了3个数据集，这里我们用最原始的20news-19997.tar.gz。 分为以下几个过程： 1.加载数据集 2.提feature 3.分类{Naive Bayes,KNN,SVM} 4.聚类 说明： scipy官网上有参考
klearn 文本分类_详细解析scikit-learn进行文本分类
weixin_39819283的博客
12-19 381
使用scikit-learn进行文本分类多标签分类格式对于多标签分类问题而言，一个样本可能同时属于多个类别。如一个新闻属于多个话题。这种情况下，因变量yy需要使用一个矩阵表达出来。而多类别分类指的是y的可能取值大于2，但是y所属类别是唯一的。它与多标签分类问题是有严格区别的。所有的scikit-learn分类器都是默认支持多类别分类的。但是，当你需要自己修改算法的时候，也是可以使用scikit-l...
使用 scikit-learn 实现多类别及多标签分类算法
weixin_34352005的博客
08-17 1018
多标签分类格式 对于多标签分类问题而言，一个样本可能同时属于多个类别。如一个新闻属于多个话题。这种情况下，因变量yy需要使用一个矩阵表达出来。 而多类别分类指的是y的可能取值大于2，但是y所属类别是唯一的。它与多标签分类问题是有严格区别的。所有的scikit-learn分类器都是默认支持多类别分类的。但是，当你需要自己修改算法的时候，也是可以使用scikit-learn实现多类别分类的前期数据准备...
使用Scikit-learn实现分类（MNIST）
卡布达
07-14 1万+
这是我学习hands on ml with sklearn and tf 这本书做的笔记，这是第三章 MNIST 在本章当中，我们将会使用 MNIST 这个数据集，它有着 70000 张规格较小的手写数字图片，由美国的高中生和美国人口调查局的职员手写而成。这相当于机器学习当中的“Hello World”，人们无论什么时候提出一个新的分类算法，都想知道该算法在这个数据集上的表现如何。机器学习的初...
scikit-learn-1.0.2.tar.gz
最新发布
01-18
在实际项目中，scikit-learn 1.0.2可以用于各种场景，如预测模型、客户细分、异常检测、文本分类等。通过其提供的网格搜索（GridSearchCV）功能，用户能够自动寻找最优的超参数组合，从而提高模型的泛化能力。 总的...
text-classification-system:使用scikit-learn进行文本分类
03-11
文本分类，使用搜狗文本分类语料库 1.主要步骤 文本分词处理 特征选择 特征权重计算 文本特征向量表示 训练模型并测试：kNN，NB，SVM 使用爬虫抓取新闻并测试 2.数据集 英文文本 数据集使用著名的新闻数据集，你可以...
naive-bayes-spam-detector：Python程序，使用Scikit-learn将电子邮件分类为垃圾邮件或非垃圾邮件
02-18
天真贝叶斯垃圾邮件检测器使用Scikit学习机器学习库将电子邮件分类为垃圾邮件或非垃圾邮件的Python程序。先决条件该程序是用Python 3编写的，并使用了Numpy，Pandas和Scikit-learn库。数据集该程序利用以csv格式存储...
Scikit-learn文本分类
09-02
包含4部分数据下载，提取特征，Pipline 训练模型，GridSearchCV 寻找最优参数。用到的算法，NB, KNN,SVM,
文本分类：使用scikit-learn进行文本分类。 分类BBC文章
02-04
文字分类 使用scikit-learn将BBC文章分类为几类 这个怎么运作 有两个数据集。 带有12.267个数据点的train_set.csv和带有3.068数据点的test_set.csv。 训练集每篇文章包含5列。 ID，标题，内容，类别（政治，电影，足球，商业，技术）和RowNum。 我们的目标是找到针对该特定训练集的最佳分类器，然后使用它对测试集的文章进行分类。 首先，您可以通过运行wordcloud.py模块为每个类别生成一个词云来深入了解数据集。 然后，下一步是使用TFIDF Vectorizer方法对每篇文章的内容进行预处理，并将其转换为矢量表示形式（不包括停用词）。 此后
Machine Learning-教你用Scikit-Learn来做分类器（中）
Pysamlam的博客
05-29 313
机器学习系列专栏选自 Python-Machine-Learning-Book On GitHub作者：Sebastian Raschka翻译&整理 By Sam...
scikit-learn实现机器学习（一）分类算法
qq_59423136的博客
05-17 368
from sklearn import datasets # 导入数据集 import numpy as np from sklearn.model_selection import train_test_split # 划分数据集 from sklearn.preprocessing import StandardScaler # 对特征进行标准化处理 from sklearn.linear_model import Perceptron # 对结果进行预测 from sklearn.metrics i.
【机器学习】scikitLearn分类：鉴别二分类、多分类、多标签及多输出的分类任务
种一棵树最好的时间是十年前，其次是现在
09-09 1639
传统的多标签分类任务，将标签分开，有几个标签，就建立几个分类器，再将预测结果拼合，深度学习时，需在输出端设置标签个数的输出节点，再给每个结点接sigmoid函数，设置阈值进行判断。预测10个类，同时训练10个分类器，预测每个实例是否为某个类别，取10个分类器中得分最高的类别，作为最终类别，进行输出。在多标签的基础上，每个标签，也可以看成是输出，有多个可能出现的值，如一共有3个标签需要输出，每个标签值的取值范围是0至255.将对象群中的每个实例分到多个类别，超过2个，叫做多元分类。
python机器学习第三章：使用scikit-learn实现机器学习分类算法
showdoo的博客
04-24 1222
训练机器学习算法所涉及的五个主要步骤可以概述如下： 1、特征的选择 2、确定性能评价标准 3、选择分类器及其优化算法 4、对模型性能的评估 5、算法的调优 感知器是机器学习分类算法中优雅易用的一个入门级算法，不过其最大的缺点在于：在样本不是 完全线性可分的情况下，他永远不会收敛。 逻辑斯谛回归（logistics regression）分类模型 激励函数为sigmoid函数 知识点1：skle...
【可解释性机器学习】解释基于Scikit-learn进行文本分类的pipeline及结果
小哲的博客
01-29 988
解释基于Scikit-learn进行文本分类的pipeline及结果
基于Scikit-Learn的五个文本分类案例研究
WHACKW的专栏
09-12 796
Scikit 是一个开源的 Python 机器学习库。主要涵盖了分类、回归分析、聚类等算法，具体包括支持向量机、随机森林、梯度提升（gradient boosting）、K-means 和 DBSCAN 等算法，同时也集成了 Python 的数据科学包 NumPy 和 SciPy。下面是5个利用 SciKit 进行文本分类的案例初创智能公司的新闻分类：CB Insights，一个初创智能公司的数
Python 文本分类：使用scikit-learn 机器学习包进行文本分类
上下求索
02-28 6952
阅 我做的项目是对评论进行有用性（helpfulness）分类，把评论分成有用和没用两类。在之前已经有使用机器学习方法进行情感分类了，现在是提取各种可能影响评论有用性的特征之后对文本进行分类。 我分析的数据是手机商品评论，看看我提取了些什么特征（特征和情感分类的特征不一样了。情感分类使用的是词来做特征，但这里用的是已经计算出的各项数值作为特征）。 我提取了（一
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值