目录
一、需求
爬取全国城市的天气预报
二、步骤
1、获取URL
通过观察页面发现,全国的天气预报是将城市分割为几个区域,然后每个区域用单独的页面显示;
通过观察每个页面的URL可以看出没有特别的规律,所以可以直接将其URL存放到一个列表中,然后顺序提取即可
2、天气预报信息获取
通过对比网页源码和响应的信息可以发现其数据是一致的,所以可以用XPATH插件去写表达式,通过XPATH去得到想要的信息;
目录
爬取全国城市的天气预报
通过观察页面发现,全国的天气预报是将城市分割为几个区域,然后每个区域用单独的页面显示;
通过观察每个页面的URL可以看出没有特别的规律,所以可以直接将其URL存放到一个列表中,然后顺序提取即可
通过对比网页源码和响应的信息可以发现其数据是一致的,所以可以用XPATH插件去写表达式,通过XPATH去得到想要的信息;