1、背景
大数据是信息化发展到一定阶段的产物。随着信息技术和人类生产生活深度融合,互联网快速普及,全球数据呈现爆发增长、海量集聚的特点,对经济发展、社会进步、国家治理、人民生活都产生了重大影响
数据产生价值。数据量大是大数据具有价值的前提,数据关联是大数据实现价值的基础,计算分析使大数据最终产生价值,广泛使用使大数据可以使效益倍增
数据的来源可以是数据库,文档文件,视频图像等,当然也可以来自一些公共网站或第三方网站,这种数据需要使用爬虫获取
本文主要汇总爬虫可能需要使用到的一些数据源网站,持续补充更新
2、数据源网站汇总
2.1、社会经济
-
国家统计局:http://www.stats.gov.cn/
-
中国经济形势报告网:http://www.china-cer.com.cn/book/
-
中国人民银行:http://www.pbc.gov.cn/diaochatongjisi/116219/116319/index.html
-
前瞻数据库:https://d.qianzhan.com/
-
一带一路统计数据库:https://ydyl.cei.cn/jsps/Default
-
中华人民共和国商务数据中心(贸易通关):http://data.mofcom.gov.cn/index.shtml
-
高德交通(城市交通):https://report.amap.com/index.do
2.2、文化娱乐
-
豆瓣电影/书籍/音乐等:https://www.douban.com/
-
艺恩娱数(电影/票房):https://ys.endata.cn/DataMarket/Index
-
数字专辑销售数据(包含QQ音乐、网易云音乐、酷狗音乐、酷我音乐4大音乐平台销量数据):http://y.saoju.net/szzj/
2.3、金融与投融资
-
中财网数据引擎:https://data.cfi.cn/cfidata.aspx
-
巨潮资讯网(上市公司信息):http://www.cninfo.com.cn/new/index
-
上海证券交易所:https://www.sse.com.cn/
2.4、电商零售
-
当当网(电商/图书平台):http://www.dangdang.com/
-
亚马逊(电子商务):https://www.amazon.cn/
-
1688批发采购:https://re.1688.com/
2.5、生活媒体
-
新浪舆情通:https://www.yqt365.com/
-
微信公众号/知乎等文章:https://weixin.sogou.com/
-
携程网(旅游):https://www.ctrip.com/
-
马蜂窝(旅游):http://www.mafengwo.cn/
-
去哪儿网(旅游):https://piao.qunar.com/
2.6、房地产
-
中国房价行情:http://www.creprice.cn/
-
住宅土地成交数据:https://fdc.fang.com/data/
2.7、其它
1)汽车产业
2)招聘
-
Boss直聘:https://www.zhipin.com/
3)论文期刊、高校
-
国家哲学社会科学学术期刊数据库:http://www.nssd.org/
-
软科大学排名:http://www.zuihaodaxue.com
2.8、行业指数趋势
-
爱奇艺指数:http://index.iqiyi.com/
-
Google趋势:https://trends.google.com/
-
阿拉丁指数(小程序趋势):https://www.aldzs.com/
2.9、行业专业媒体网站
-
亿邦动力(电商门户):https://www.ebrun.com/
-
芥末堆(教育门户):https://jiemodui.com/
-
AgeClub(银发经济):https://www.ageclub.net/
-
亿欧(互联网产业):https://www.iyiou.com/
-
餐饮老板内参(餐饮产业):https://www.watcn.com/
2.10、综合数据服务商
-
Wind金融数据:https://www.wind.com.cn/Default.html