1、分布式爬虫
是由一组通过网络进行通信,为了完成共同的爬虫任务而协调工作的计算机节点组成的系统。分布式爬虫是将多台电脑组合起来,共同完成一个爬虫任务,大大提高爬虫效率。
2、为什么需要分布式爬虫?
Scrapy-Redis
默认情况下scrapy是不支持分布式的,需要使用基于redis的组件Scrapy-Redis组件才能实现分布式。下载地址:https://github.com/rmax/scrapy-redis.git
正常scrapy单机爬虫
3、安装
pip install scrapy-redis
scrapy-redis提供的四种组件
- Scheduler(调度器)
- Duplication Filter(去重)
- item Pipeline(管道)
- Base Spider(爬虫类)
博客:
- 如何实现分布式爬虫?https://blog.csdn.net/qq_35866413/article/details/81638862
- 基于Scrapy分布式爬虫的开发与设计https://blog.csdn.net/seven_2016/article/details/72802961?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522165200371816781435414155%2522%252C%2522scm%2522%253A%252220140713.130102334..%2522%257D&request_id=165200371816781435414155&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2~all~top_positive~default-1-72802961-null-null.142^v9^pc_search_result_control_group,157^v4^control&utm_term=%E5%88%86%E5%B8%83%E5%BC%8F%E7%88%AC%E8%99%AB&spm=1018.2226.3001.4187
4、分布式爬虫工作流程
5、Scrapy-Redis模块
目录文件说明:
- __init__.py:用于实现与Redis数据库的连接
- connection.py:用于连接Redis数据库,在该文件中,get_redis_from_settings()函数用于获取Scrapy配置文件中的配置信息,get_redis()函数用于实现与Redis数据库的链接。
- defaults.py:用于判断重复数据,该文件中重写了Scrapy中的判断重复爬取的功能,将已经爬取的请求地址(URL)按照规则写入Redis数据库中。
- picklecompat.py:将数据转换为序列化格式的数据,解决对Redis数据库的写入格式问题。
- pipelines.py:与Scrapy中的pipelines是同一对象,用于实现数据库的连接以及数据的写入。
- queue.py:用于实现分布式爬虫的任务队列。
- scheduler.py:用于实现分布式爬虫的调度工作。
- spiders.py:重写Scrapy中原有的爬取方式
- utils.py:设置编码方式,用于更好的兼容Python的其他版本
6、实现分布式爬虫的具体步骤
Redis和Mysql数据地址默认设置为本地连接,如果想实现多台计算机共同启动分布式爬虫时,需要将默认的localhost修改为数据库的服务器地址。
-
通过'ipconfig'命令获取计算机的IP地址
-
Redis数据库情况下是不允许其他计算机进行访问的,需要修改'redis.windows-service.conf'文件。绑定计算机的IP地址。然后重新启动redis服务。
-
mysql数据库实现远程连接:
-
打开"Mysql Command Line Client"窗口,输入数据库连接密码,接着数据'use mysql',回车。
-
输入"update user set host='%' where user = 'root'",回车
-
最后输入'flush privileges'
-
-
在两台计算机A和B中,分别运行'distributed'分布式爬虫项目
7、如何把普通的Scrapy项目改写成分布式
- 创建项目
scrapy startproject scrapyRedisDemo
- 创建爬虫
cd scrapyRedisDemo
scrapy genspider httpbin http://httpbin.org/get
- 修改爬虫类文件
1、导入类并修改继承类
from scrapy_redis.spiders import RedisSpider # 导入类并继承
# class HttpbinSpider(scrapy.spider) 改成:class HttpbinSpider(RedisSpider):
class HttpbinSpider(RedisSpider):
name = 'httpbin'
allowed_domains = ['httpbin.org']
# start_urls = ['http://httpbin.org/']
redis_key = 'myspider'
def make_requests_from_url(self, url):
return scrapy.Request(url, dont_filter=True)
def parse(self, response):
print('response:',response.text)
2、注销start_url添加redis_key
- 修改配置文件
3、修改配置文件,将scrapy_redis包中的settings.py的以下参数拷贝下来
# 需要改
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.74 Safari/537.36'
# 指定去重方式 给请求对象去重
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 设置调度器
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 队列中的内容是否进行持久保留 True redis关闭的时候数据会保留
# False 不会保留
SCHEDULER_PERSIST = True
# 将数据保存到redis中
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 400,
}
配置redis
REDIS_URL = 'redis://127.0.0.1:6379'
- 创建运行项目的文件并进行运行
from scrapy import cmdline
cmdline.execute('scrapy crawl httpbin'.split())
- 启动redis-server(服务端)和redis-cli(客户端),在客户端里往redis队列中插入请求地址:lpush myspider 请求地址
这样,在pycharm里可以看到,每往redis里添加一个请求连接,就会请求一次。可以试着在两台电脑上进行同时爬取数据。
如果遇到以下错误:
解决方法:
def make_requests_from_url(self, url):
return scrapy.Request(url, dont_filter=True)