背景
最近在计划明年从北京rebase到深圳去,所以最近在看深圳的各个方面。去年在深圳呆过一段时间,印象最深的是,深圳总是突然就下雨,还下好大的雨。对于我这种从小在南方长大但是后面又在北京呆了2年多的人来说,熟悉而又无奈。
今天早上本来想随便浏览浏览一个天气网站,看看深圳的历史天气如何的,但是,一不小心发现,这家网站竟然直接能用API来抓数据,这~~~还不抓一波,省的自己一个月一个月地看。
先上最后的效果图:
所有的code都在我的GitHub上:boydfd
下面从几个方面讲一讲我是怎么做的:
爬取数据
用pandas显示数据
功能扩展
遇到的坑
爬取数据
先是在http://tianqi.2345.com上面浏览了一下深圳的6月份天气。然后发现点切换月份的时候,网址没有变,那应该有请求API吧,看看这个API长啥样吧。
发现返回值就是纯JS代码,那就解析一下吧:
去掉var =和最后的;。
用到demjson解析成Python的List[Dict]对象。
转成pandas的DataFrame
加上我们的date字段
date = '201905'
weather = requests.get('h