python基础爬虫——深度优先与广度优先

最新推荐文章于 2024-07-01 18:09:20 发布

pitiful dog

最新推荐文章于 2024-07-01 18:09:20 发布

阅读量1.1k

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/felldeng/article/details/113412946

版权

本文介绍了Python爬虫中两种常见的数据抓取策略：深度优先和广度优先。通过示意图和代码解释，阐述了深度优先利用栈，广度优先利用队列的实现方式。

摘要由CSDN通过智能技术生成

困于心衡于虑而后作
今天的学习目标是：深度优先与广度优先爬取数据

深度优先与广度优先示意图：
在这里插入图片描述

1.深度优先使用栈来完成


# 如果我们不适用递归程序实现深度优先的顺序爬取网页数据，也可以设计一个栈stack来完成
# 在python中实现一个栈很容易，python中的list就是一个栈，很容易设计一个自己的stack栈


import urllib.request
from bs4 import BeautifulSoup


class Stack:
    def __init__(self):
        self.st = []

    def pop(self):
        return self.st.pop()

    def push(self, obj):
        self.st.append(obj)

    def empty(self):
        return