requests实现一个通用自动下载爬虫(限制下载速度，下载深度)

        Scrapy框架虽然能够很方便的下载网页，但是有时候爬取数据可能用不到Scrapy如此大的框架，使用requests库进行下载更加方便，那么我们就可以手动实现一个通用的requests库进行下载的爬虫，包括自动下载网页中其他链接的网页，限制爬虫爬取的速度，限制爬取网页的深度(从种子链接往下爬取几层网页)。

        主要功能实现：1.从下载的网页抽取出其他网页的链接。2.解析网站的robots.txt文件，是否遵守robots.txt文件。3.将下载内容存储到文件或者mongodb数据库，以下载的url为文件名或者键。4.下载失败能够重新下载。5.多线程同时下载。6.限制爬虫爬取的速度。7.限制爬虫向下爬取的深度。8.使用mongodb数据库防止重复下载。

         

import requests
from fake_useragent import UserAgent
from retrying import retry
import hashlib
from urllib import robotparser
from urllib.parse import urldefrag,urljoin,urlparse
import re
import queue
from datetime import datetime
from mongo_cache import MongoCache
import time
import random
from threading import Thread

MAX_DEP = 2

def extractor_url_lists(html_content):
    """
    抽取网页中其他链接
    :param html_content: 网页内容
    :return: 返回该页面所有网址
    """
    url_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
    return url_regex.findall(html_content)

def get_robots(url):
    """
    解析robots.txt文件
    :param url: 初始化的时候传递的种子链接
    :return:
    """
    rp = robotparser.RobotFileParser() # 创建一个解析robots.txt文件的对象
    robots_url = "http://"+urlparse(url).netloc # 从种子链接中提取出域名，加上http拼接成完整的域名
    rp.set_url(urljoin(robots_url,'robots.txt')) # rp.set_url(urljoin(url,'robots.txt'))  #拼接成完整的robots.txt的url
    rp.read()
    # rp.can_fetch("http://www.baidu.com"，user-agent)
    return rp # 返回一个解析robots.txt的对象(对象中包含url属性)