Ide:pycharm
python:Python3.6
Browser:Chrome
一:分析网站
目标地址:http://www.weather.com.cn/textFC/hb.shtml
我们想要爬取全国城市的最低气温,观察网站。
全国的城市分为华北,东北等8个区,分别点开观察url,
'http://www.weather.com.cn/textFC/hb.shtml', 华北 'http://www.weather.com.cn/textFC/db.shtml', 东北 'http://www.weather.com.cn/textFC/hd.shtml', 华东 'http://www.weather.com.cn/textFC/hz.shtml', 华中 'http://www.weather.com.cn/textFC/hn.shtml', 华南 'http://www.weather.com.cn/textFC/xb.shtml', 西北 'http://www.weather.com.cn/textFC/xn.shtml', 西南 'http://www.weather.com.cn/textFC/gat.shtml', 港澳台
可以观察基础URL是http://www.weather.com.cn/textFC/,后面跟上地区缩写就行。
F12继续分析网页。
观察到北京,天津以及其他省份都处于conMidtab下,至于那个style=“display:none”是其他日期的所以为none,这个我们不管。继续分析单个北京的格式ÿ