如果你想做数据分析,但是手上又缺乏数据,则以下网站可以帮到你:
新手数据集
这些网站的数据质量较高,不需要怎么清洗,适合数据新手
1、中国统计信息网:http://www.tjcn.org/
2、国家统计局:http://www.stats.gov.cn/
3、中国产业信息网:http://www.chyxx.com/data/
4、美国政府公开数据:https://www.data.gov/
5、世界银行:https://data.worldbank.org/
6、百度数据开放平台:https://open.baidu.com/open/#/open
项目数据集
这些网站包含完整的项目,可以借鉴参考
1、FiveThirtyEight:http://fivethirtyeight.com/
这是互动式新闻与体育赛事的网站,网站中会发布许多数据相关的文章,这些文章中会把使用到的数据集发布在github上,除了获取数据集,你还可以参考别人的项目过程
2、Socrata OpenData:https://opendata.socrata.com/
Socrata OpenData 网站包含多个清洗后的数据集,可以直接在浏览器中查看,也可以下载到本地进行可视化,大部分数据来源于美国政府。
数据建模、机器学习数据集
1、FiveThirtyEight:http://fivethirtyeight.com/
这是互动式新闻与体育赛事的网站,网站中会发布许多数据相关的文章,这些文章中会把使用到的数据集发布在github上,除了获取数据集,你还可以参考别人的项目过程
2、Socrata OpenData:https://opendata.socrata.com/
Socrata OpenData 网站包含多个清洗后的数据集,可以直接在浏览器中查看,也可以下载到本地进行可视化,大部分数据来源于美国政府。
3、Kaggle:https://www.kaggle.com/datasets
Kaggle 是一个举办了多项机器学习竞赛的数据科学社区。用户可以自己上传数据集,也可以通过某项竞赛下载数据集,里面有不少别的平台找不到的有趣数据集。
4、科赛网:https://www.kesci.com/home/project
这个网站提供了不少数据集可以免费下载,而且还有一些数据项目的比赛,不过整体来说项目的难度比较低,奖金也不是很多,学生参加的比较多,反正单纯用来获取数据集还是很不错的
5、Quandl
这是一个包含经济与金融数据的仓库。其中的部分信息是免费的,但是大部分数据集需要购买,数据可以用来构建经济指标预测或者股价分析模型等等。
大型数据集
1、AWS 公开数据集:https://www.amazon.com/aws
亚马逊在其 Amazon Web Services 中提供了一些大型数据集可以免费下载,不过你得注册一个aws账户,新用户有免费访问的权限
2、Google 公开数据集:https://cloud.google.com/bigquery/public-data/
Google提供了一些数据集作为其Big Query工具的一部分。包括 GitHub 公共资料库的数据,Hacker News 的所有故事和评论。
3、Youtube标签视频数据集:https://research.google.com/youtube8m/
Youtube标签视频数据集包括来自4800个可视化实体的800万个YouTube视频ID和相关标签。它具有数十亿帧的预计算的、最先进的视觉功能。