爬虫
文章平均质量分 67
我在社会底层收垃圾
一只无趣的小灵魂
展开
-
可断点爬虫实现二
title: 可断点爬虫实现(二) author: LiSoul date: 2021-11-12 相信看到这里的同学们已经看过我写的第一篇文章了,那接下来这一篇我们主要来讲讲如何将上一篇的代码组合起来,能够使我们的代码最优化 1. 算法 讲到这里呢,我们先来谈谈两种算法。 相信学过数据结构的人都知到在树的遍历里面有两种很经典的搜索算法,他们分别是 深度优先搜索 和 广度优先搜索,如果说你学过这一部分的知识的话,那么就可以跳过这一部分内容了,如果说没有学过,那么不要着急,此处会慢慢给大家分析分析.原创 2021-11-12 08:00:00 · 311 阅读 · 0 评论 -
可断点爬虫实现一
title: 可断点爬虫实现(一) author: LiSoul date: 2021-11-11 爬虫在软件开发中属于最常用的手段之一,但是在有时候在需要爬取大量的数据时程序会因为各种原因出现异常,但是我们又不想从头开始爬取,所以为了方便,在这里献上一份可断点爬虫的方案,若有考虑不到之处,欢迎各位大佬提出建议,谢谢。 1. 我所使用的库 bs4 bs4 能够快速方便的从网页中提取指定的内容,通过 bs4,我们可以提取我们需要的内容。 安装 python -m pip install .原创 2021-11-11 17:23:39 · 461 阅读 · 0 评论