场景
- 在实践机器学习算法过程中,有的数据源可以通过网络获取。于是,想利用Python代码直接加载到程序中,省去下载的操作。一方面是可能是由于懒,另一方面还可以秀一下“肌肉”,哈哈哈 …
- 作为一名实在的假“程序猿”,手动下载资源如果被小弟们看到,太跌份儿不是!
- 开发工具
- Anaconda 2
- Python 3
描述
- 在贝叶斯分类器学习过程中,积累了问题。
- 文章涵盖以下3方面内容:
- 通过 Python 代码实现网络数据的加载、保存等操作
- 代码中相关方法、模块的具体使用
- 机器学习过程中常用的数据集推荐
- 实验数据集
代码
# python 3
import csv
import pandas as pd
from io import StringIO
from urllib import request
url='https://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data'
s = request.urlopen(url).read().decode('utf8') # 1 读取数据串
dfile = StringIO(s) # 2 将字符串转换为 StringIO对象,使其具有文件属性
creader = csv.reader(dfile) # 3 将流 转换为可迭代的 reader(csv row)
dlists=[rw for rw in creader] # 4 其他转换、操作
- 数据效果
开放数据集
- 时间序列数据的网址
- 评分数据集
- http://www.grouplens.org/
- 基本数据描述:
- 包括以下三个数据集:
- a. 943个用户对1682个电影的10万条评分
- b. 6040个用户对3900个电影的1百万条评分
- c. 71567个用户对10681个电影的1千万条评分
- 包括以下三个数据集:
- Book-Crossing书籍评分数据
- http://www.informatik.uni-freiburg.de/~cziegler/BX/
- 基数数据描述:
- 包含了278,858个用户对271,379本书籍的1,149,780条评分。
- 该数据集由Cai-Nicolas Ziegler在2004年8 - 9月用4周的时间从Book-Crossing社区用网络爬出。
- 基数数据描述:
- http://www.informatik.uni-freiburg.de/~cziegler/BX/
- Jester笑话数据集笑话评分集合
- http://www.ieor.berkeley.edu/~goldberg/jester-data/
- 来自UC Berkeley的Ken Goldberg发布的一个推荐系统使用的数据集。
- 包含关于100个笑话的73,496名用户评分的410万条连续评分。
- GPS轨迹数据
- GPS轨迹与运输模式标签
- Movebank动物轨迹
- 手机WIFI蓝牙
手机和wifi的轨迹
【注】
- 后续有机会,统一整理数据集url.