python抓取网页的深度与广度遍历

一、实现抓取网页的去重深度遍历算法

若网页下链接复杂，建议抓取深度较小，图片内只是小部分输出结果

深度遍历算法的主要是采用栈（后进先出）来实现

import requests
import re
r = re.complie(r'<a.*href=\"(https?://.*?)[\"|\'].*')
#禁用警告
import urllib3
urllib3.disable_warnings()
def geturlsdeep(seed,depth):
    stack = [seed]
    storage = {}
    storage[seed] = 0
    used=set()#集合用于去重
    while len(stack)>0:
        try:
            #输出栈的最后一个元素
            url = stack.pop(-1)
            #获取种子网页源代码
            html=requests.get(url,timeout=5,verify=False).text
            print("\t"*storage[url],"%d:%s"%(storage[url],url))
            used.add(url)
            #找到所有与self.__url匹配的字符串
            new_urls = re.findall(r,html)
            for new_url in new_urls:
                #判断深度字典有无此键，达到去重目的并控制抓取深度
                if new_url not in used and new_url not in stack and storage[url]<depth:
                    storage[new_url] = storage[url]+1
                    stack.append(new_url)
	except Exception as e:
            pass

输出结果如下

广度遍历去重算法

主要是利用队列（先进先出）

import requests
import re
#根据包含的正则表达式的字符串创建模式对象
r = re.compile(r'<a.*href=\"(https?://.*?)[\"|\'].*')
#禁用警告
import urllib3
urllib3.disable_warnings()
#临时存放url的队列
tmplist = []
#存放爬取到的所有url
urlList= []
#深度字典
depthDict = {}
def geturls(depth):
    while(len(tmplist)>0):
        #从临时列表中移除并获取对首元素链接
        url = tmplist.pop(0)
        #添加到链接列表
        urlList.append(url)
        if depthDict[url] < depth:
            #获取子列表url列表
            html = requests.get(url).text
            sublist = re.findall(r,html)
            for u in sublist:
                #判断深度字典有无此键，达到去重目的，并确定抓取层次
                if u not in depthDict :
                    depthDict[u] = depthDict[url]+1
                    tmplist.append(u)
if __name__ == '__main__':
    #设置种子网站以及层次
    seed = 'http://httpbin.org'
    depthDict[seed] = 0
    tmplist.append(seed)
    geturls(2)
    for url in urlList:
         print(depthDict[url],url)

输出结果如下：