python基础爬虫——深度优先与广度优先

困于心衡于虑而后作
今天的学习目标是:深度优先与广度优先爬取数据

深度优先与广度优先示意图:
在这里插入图片描述

1.深度优先使用栈来完成


# 如果我们不适用递归程序实现深度优先的顺序爬取网页数据,也可以设计一个栈stack来完成
# 在python中实现一个栈很容易,python中的list就是一个栈,很容易设计一个自己的stack栈


import urllib.request
from bs4 import BeautifulSoup


class Stack:
    def __init__(self):
        self.st = []

    def pop(self):
        return self.st.pop()

    def push(self, obj):
        self.st.append(obj)

    def empty(self)
  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
深度优先搜索和广度优先搜索是图遍历的两种算法,它们在遍历顺序和实现方法上有所不同。 深度优先搜索(DFS)是沿着一条路径不断往下进行深度搜索。它选择最新成为候补的顶点,沿着新发现的路径不断深入搜索。在Python中,可以使用以下代码实现深度优先搜索: ```python def dfs(adj, start): visited = set() stack = [[start, 0]] while stack: (v, next_child_idx) = stack[-1] if (v not in adj) or (next_child_idx >= len(adj[v])): stack.pop() continue next_child = adj[v][next_child_idx] stack[-1][1 = 1 if next_child in visited: continue print(next_child) visited.add(next_child) stack.append([next_child, 0]) graph = {1: [4, 2], 2: [3, 4], 3: [4], 4: [5]} dfs(graph, 1) ``` 广度优先搜索(BFS)是从根节点开始,沿着树的宽度遍历树的节点。它选择最早成为候补的顶点,从离起点近的地方开始按顺序搜索。在Python中,可以使用以下代码实现广度优先搜索: ```python import queue def bfs(adj, start): visited = set() q = queue.Queue() q.put(start) while not q.empty(): u = q.get() print(u) for v in adj.get(u, []): if v not in visited: visited.add(v) q.put(v) graph = {1: [4, 2], 2: [3, 4], 3: [4], 4: [5]} bfs(graph, 1) ``` 这些代码可以让你在给定图的情况下,使用深度优先广度优先算法进行搜索并输出结果。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [Python广度优先深度优先](https://blog.csdn.net/m0_50481455/article/details/118695003)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* [深度优先算法和广度优先算法(python)](https://blog.csdn.net/qq_41661056/article/details/95605803)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值