Scrapy框架虽然能够很方便的下载网页,但是有时候爬取数据可能用不到Scrapy如此大的框架,使用requests库进行下载更加方便,那么我们就可以手动实现一个通用的requests库进行下载的爬虫,包括自动下载网页中其他链接的网页,限制爬虫爬取的速度,限制爬取网页的深度(从种子链接往下爬取几层网页)。
主要功能实现:1.从下载的网页抽取出其他网页的链接。2.解析网站的robots.txt文件,是否遵守robots.txt文件。3.将下载内容存储到文件或者mongodb数据库,以下载的url为文件名或者键。4.下载失败能够重新下载。5.多线程同时下载。6.限制爬虫爬取的速度。7.限制爬虫向下爬取的深度。8.使用mongodb数据库防止重复下载。
import requests
from fake_useragent import UserAgent
from retrying import retry
import hashlib
from urllib import robotparser
from urllib.parse import urldefrag,urljoin,urlparse
import re
import queue
from datetime import datetime
from mongo_cache import MongoCache
import time
import random
from threading import Thread
MAX_DEP = 2
def extractor_url_lists(html_content):
"""
抽取网页中其他链接
:param html_content: 网页内容
:return: 返回该页面所有网址
"""
url_regex = re.compile('<a[^>]+href=["\'](.*?)["\']',re.IGNORECASE)
return url_regex.findall(html_content)
def get_robots(url):
"""
解析robots.txt文件
:param url: 初始化的时候传递的种子链接
:return:
"""
rp = robotparser.RobotFileParser() # 创建一个解析robots.txt文件的对象
robots_url = "http://"+urlparse(url).netloc # 从种子链接中提取出域名,加上http拼接成完整的域名
rp.set_url(urljoin(robots_url,'robots.txt')) # rp.set_url(urljoin(url,'robots.txt')) #拼接成完整的robots.txt的url
rp.read()
# rp.can_fetch("http://www.baidu.com",user-agent)
return rp # 返回一个解析robots.txt的对象(对象中包含url属性)