python爬虫项目设置一个中断重连的程序

最新推荐文章于 2024-06-20 18:10:52 发布

匡虐

最新推荐文章于 2024-06-20 18:10:52 发布

阅读量4.7k

点赞数 6

文章标签： python 爬虫中断重连

本文链接：https://blog.csdn.net/weixin_43570328/article/details/84725034

版权

在Python爬虫项目中，面对网络问题导致的中断，本文介绍了一种实现中断后从断点继续爬取的方法。通过维护两个URL数组，分别记录待爬取和已爬取的网址，并在内存不足时将数据保存到文件中，利用get_last_line()函数确定上次中断的位置，从而实现重连功能。

摘要由CSDN通过智能技术生成

做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。
实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。
首先是来介绍代码的思路：
将要爬取的网站连接存在一个数组new_urls中，爬取一个网址就将它移入另一个数组old_urls中，爬取网站时，就看它是在哪一个数组中，然后再决定要不要爬取。
下面展示代码（从别处抄的）：

class UrlManager(object):
    def __init__(self):				#定义两个数组
        self.new_urls=set()
        self.old_urls=set()

    def add_new_url(self, url):		#将一个url加入到new_urls数组中
        if url is None:
            return
        if url not in self.new_urls and url not in self.old_urls:
            self.new_urls.add(url)

    def add_new_urls(self, urls):		#将多个url加入到new_urls数组中
        if urls is None or len(urls)==0:
            return
        for url in urls :
            self.add_new_url(url)