scikit-learn：5. 加载内置公用的数据

最新推荐文章于 2024-09-20 20:17:49 发布

mmc2015

最新推荐文章于 2024-09-20 20:17:49 发布

阅读量5.4k

点赞数 1

分类专栏： scikit-learn scikit-learn 文章标签：机器学习数据挖掘加载数据 scikit-learn

本文链接：https://blog.csdn.net/mmc2015/article/details/46906409

版权

本文介绍如何使用scikit-learn加载内置数据，包括20 Newsgroups文本分类数据集和Labeled Faces in the Wild人脸识别数据集。通过fetch_20newsgroups加载新闻数据，并进行文本预处理，利用fetch_20newsgroups_vectorized获取预处理特征。同时探讨了Face Recognition和Face Verification任务。此外，还简要概述了其他如小数据集、图像数据、生成器数据、svmlight/libsvm数据、Olivetti faces数据以及forest covertypes数据集的用途。

摘要由CSDN通过智能技术生成

之前写过一篇如何加载自己的数据，参考：

http://blog.csdn.net/mmc2015/article/details/46852755

本篇主要写如何加载scikit-learn内置数据，参考：

http://scikit-learn.org/stable/datasets/index.html#general-dataset-api

重点介绍“5.7：The 20 newsgroups text dataset”，以练习文本分类问题。

重点介绍“5.9：The Labeled Faces in the Wild face recognition dataset”，以练习图像处理问题。

5.7：The 20 newsgroups text dataset

18000个新闻、可分为20个topics；已经分为training和testing集。

两个loders：

第一个， sklearn.datasets.fetch_20newsgroups，返回原始文档，可进一步使用sklearn.feature_extraction.text.CountVectorizer进行个性化处理；

第二个，sklearn.datasets.fetch_20newsgroups_vectorized,，返回已经处理好的特征（ready-to-use feature），不须再作进一步feature extraction。

加载全部数据和加载部分数据：

from sklearn.datasets import fetch_20newsgroups
newsgroups_train = fetch_20newsgroups(subset='train')
cats = ['alt.atheism', 'sci.space']
newsgroups_train = fetch_20newsgroups(subset='train', categories=cats)

数据存在filenames和target两个属性中，target是数字0到19，使用target_names[target]可以获取具体类别名称。

注意，实际使用中还是先把数据下载下来，再使用这里 http://blog.csdn.net/mmc2015/article/details/46852963提到的办法加载。