【python爬虫】—URL管理器的实现

url管理器的作用

• 在Python爬虫中，URL管理器（URL Manager）是一个重要的组件，用于有效管理爬取过程中所涉及的URL。它主要负责以下几个方面的任务：

  • URL去重（去重复）：在爬取过程中，会遇到相同的URL被重复爬取的情况，这不仅浪费了时间和资源，还可能导致数据重复。URL管理器通过维护一个已经爬取过的URL集合，确保每个URL只被爬取一次，避免重复。

  • URL调度（调度顺序）：爬虫需要决定下一个要爬取的URL是哪个。URL管理器负责根据一定的策略，选择下一个要爬取的URL，可以使用先进先出（FIFO）、后进先出（LIFO）、优先级队列等不同的调度策略。

  • 新URL添加：当从一个网页中解析出新的URL时，URL管理器负责将这些新URL添加到待爬取的URL队列中，以确保爬虫能够持续地探索新的页面。

  • URL状态管理：URL管理器可以记录每个URL的状态，例如是否已经爬取、是否成功、失败次数等。这有助于在后续的爬取过程中进行优化和错误处理。

  • 数据持久化：在爬虫运行结束后，URL管理器通常会将已经爬取的URL保存下来，以便下次运行时恢复之前的状态。

• URL管理器通常由两个部分组成：待爬取URL队列（待爬取URL集合）和已爬取URL集合。这两部分工作协同，确保爬虫能够高效地运行，不重复爬取URL，同时按照合适的策略调度URL。

综上所述，URL管理器在爬虫中起到了整合、协调、去重和调度的重要作用，帮助爬虫更加高效地获取所需的信息。

python实现

class UrlManager():
    """url管理器"""

    def __init__(self):
        # 初始化待爬取url和已爬取url
        self.new_urls = set()
        self.old_urls = set()
    
    def add_new_url(self, url):
        """添加新的url"""
        if (url is None) or (len(url) == 0):
            return("Error! The URL to be added is empty")
        if (url in self.new_urls) or (url in self.old_urls):
            return('Error! The URL to be added already exists')
        self.new_urls.add(url)
    
    def add_new_urls(self, urls):
        """批量添加新的url"""
        if (urls is None) or (len(urls) == 0):
            return("Error! The URLs to be added is empty")
        
        for url in urls:
            self.add_new_url(url)
    
    def get_url(self):
        """获取爬取url,并记录"""
        if self.find_new_url():
            url = self.new_urls.pop()
            self.old_urls.add(url)
            return url
        else:
            return("Crawling completed, the URL to be crawled is empty")
    
    def find_new_url(self):
        return len(self.new_urls) > 0
    

if __name__ == "__main__":
    url_manager = UrlManager()
    url_manager.add_new_url('url1')
    url_manager.add_new_urls(['url1','url2'])
    print("new_urls:{}, old_urls:{}".format(url_manager.new_urls, url_manager.old_urls))

    print("+"*30)
    new_url = url_manager.get_url()
    print("new_urls:{}, old_urls:{}".format(url_manager.new_urls, url_manager.old_urls))

    print("+"*30)
    new_url = url_manager.get_url()
    print("new_urls:{}, old_urls:{}".format(url_manager.new_urls, url_manager.old_urls))

    print("+"*30)
    print(url_manager.find_new_url())


"""
output:
new_urls:{'url2', 'url1'}, old_urls:set()
++++++++++++++++++++++++++++++
new_urls:{'url1'}, old_urls:{'url2'}
++++++++++++++++++++++++++++++
new_urls:set(), old_urls:{'url2', 'url1'}
++++++++++++++++++++++++++++++
False
"""