【百度爬虫系列 III】深度搜索(给定网址采集全部url)

源码和结果：https://github.com/luyishisi/Anti-Anti-Spider/tree/master/11.%E7%99%BE%E5%BA%A6%E7%88%AC%E8%99%AB%E7%B3%BB%E5%88%97
在【爬虫之百度搜索 I】单关键字url结果汇总(给定关键字和页数) 我们根据关键字获取了查询的url结果，存储在save_file_name.txt中，接下来需要从save_file_name.txt中逐行读取采集的网址, 抓取给定网址中的所有url。
相关文章

【百度系列 I】多关键字图片搜索结果汇总
【百度系列 II】关键字搜索url结果汇总(给定关键字和页数)
【百度系列 III】深度搜索(给定网址采集全部url)

目的

给定网址，以及存储文件，将该网页内全部网址采集下，可指定文件存储。

思路

用lxml解析工具解析请求的文本，分析网页中url在的位置以及标签会出现三种情况：

1. 通过href获取的格式正确的url。
2. 获取是相对路径:像”/game”，要补