【百度爬虫系列 II】关键字搜索url结果汇总(给定关键字和页数)

源码和结果：https://github.com/luyishisi/Anti-Anti-Spider/tree/master/11.%E7%99%BE%E5%BA%A6%E7%88%AC%E8%99%AB%E7%B3%BB%E5%88%97

相关文章

【百度系列 I】多关键字图片搜索结果汇总
【百度系列 II】关键字搜索url结果汇总(给定关键字和页数)
【百度系列 III】深度搜索(给定网址采集全部url)

目的

为批量获取百度搜索结果，实现一个自动采集工具，将指定关键词和页数返回搜索结果的url保存在指定文件中。

要求

1. 给定关键字wd, 页数pn， 存储文件路径save_file_name值。
2. 将搜索结果网页页面1到pn上所有网址url采集下来，保存在指定文件中。
   

思路

1. 通过填充请求头将wd和pn补充完整。
2. 通过requests请求获取网页文本，将网页文本用lxml解析成标准的html标签格式。
3. 根据属性href筛选标签获取当前网页的url。</