scikit-learn学习笔记（二）load_files加载自己的文件

这里不讨论加载常用的公用数据集，而是讨论加载自己的原始数据（即，实际中遇到的数据）

sklearn.datasets. load_files ( container_path,  description=None,  categories=None, load_content=True,  shuffle=True,  encoding=None,  decode_error='strict',  random_state=0 ) [source]

加载文本文件存储的数据集，其中不同类别的文件存放路径为：

container_folder/

category_1_folder/

file_1.txt file_2.txt ... file_42.txt

category_2_folder/

file_43.txt file_44.txt ...

其中，子文件夹（category_1_folder）的名字区别，作为监督学习的标签区别。至于每个文件的具体命名，随便。

上面的参数只解释container_path，load_content=True，encoding=None：

container_path：“container_folder”的路径。

load_content=True：是否真的把文件中的内容加载到内存中，选择true就是了。

encoding=None：string or None (default is None)，是否解码文件中的内容（主要针对图片、视频或其他二进制文件，而非文本内容）；如果不是None，那么在load_content=True的情况下，就会解码文件中的内容。注意，当前文本文件的编码方式一般为“utf-8”。如果不指明编码方式（encoding=None），那么文件内容将会按照bytes处理，而不是unicode处理，这样模块“sklearn.feature_extraction.tex”中的很多函数就不能用了。

返回值：data : Bunch

Dictionary-like object。我们感兴趣的有：

data：原始数据，格式参考下图。

filenames：每个文件的名字

target：类别标签（从0开始的整数索引）

target_names：类别标签（数字）的具体含义（由子文件夹的名字category_1_folder决定）

实例：

data_folder/

category_1_folder/

1.txt file_2.txt 

category_2_folder/

3.txt 4.txt 

1. from sklearn import datasets  
2. rawData = datasets.load_files("data_folder")  
3.   
4. rawData  
5. Out[10]:   
6. {'DESCR': None,  
7.  'data': ['5 start, \r\ni like this book.',  
8.   '4 start, \r\nthis book is good,\r\ni like it.',  
9.   "1 start, \r\npretty bad, don't like it at all.",  
10.   "2 start, \r\nwe don't like so much."],  
11.  'filenames': array(['data_folder\\positive_folder\\1.txt',  
12.         'data_folder\\positive_folder\\2.txt',  
13.         'data_folder\\negative_folder\\4.txt',  
14.         'data_folder\\negative_folder\\3.txt'],   
15.        dtype='|S33'),  
16.  'target': array([1, 1, 0, 0]),  
17.  'target_names': ['negative_folder', 'positive_folder']}  
18.   
19. rawData.data  
20. Out[11]:   
21. ['5 start, \r\ni like this book.',  
22.  '4 start, \r\nthis book is good,\r\ni like it.',  
23.  "1 start, \r\npretty bad, don't like it at all.",  
24.  "2 start, \r\nwe don't like so much."]  
25.   
26. rawData.target  
27. Out[12]: array([1, 1, 0, 0])  
28.   
29. rawData.filenames[rawData.target[0]]  
30. Out[13]: 'data_folder\\positive_folder\\2.txt'