有哪些网站用爬虫爬取能得到很有价值的数据?
题主是个web程序员,最近想转去做数据分析,先练习的爬虫(python),各种爬取技巧以及多网站爬取等已经掌握,但发现转方向最无奈的是方向(要抓什么数据来干什么)比较迷茫,希望有前辈给予指导,哪些网站的数据抓取下来能获得有分析价值的数据,或者前辈的经验。
更新神器:
1.下面提到的Quandl网站有一个他们自己的Python库,叫Quandl,可惜也是收费的。
pip install Quandl
2.TuShare -财经数据接口包 国内好心人做的开源财经数据接口(觉得好的可以捐助一下)。这里几乎可以获取到A股的所有信息了,还包括一些经济数据。重点是他不仅免费,还提供了一个Python库tushare。
pip install tushare
import tushare as ts
这样一来你便可以通过这个库方便地获取大量A股信息了。
——————————————以下为原答案——————————————
一大波数据来袭!
题主问了有什么网站,能用来做什么。我给出几个API网站吧,做APP用的可能比较多,不过也可以用在日常生活中。
一、生活服务
1.手机话费充值。手机话费充值数据服务
2.天气查询。天气查询数据服务
3.快递查询。快递查询服务数据服务
4.健康食谱。健康食谱数据服务
5.查医院。医院大全数据服务
6.水电煤缴费。水电煤缴费数据服务
7.电影大全。电影大全数据服务
8.谜语、歇后语、脑筋急转弯。猜一猜数据服务
9.音乐搜索。音乐搜索接