python 爬虫——部署scrapy-redis分布式爬虫及部署分布式爬虫后但是只能单机运行原因

最新推荐文章于 2020-09-14 15:10:27 发布
最新推荐文章于 2020-09-14 15:10:27 发布
阅读量708 收藏 3
点赞数 1
分类专栏： scrapy 爬虫 分布式 文章标签： scrapy 爬虫 分布式 解决
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/za_pai_xiao_ba/article/details/82860522
版权
本文介绍了如何部署Scrapy-Redis分布式爬虫，包括安装Redis，修改配置文件，配置Scrapy settings，创建RedisSpider，以及启动和测试分布式爬虫。同时，文章讨论了分布式爬虫只能单机运行的原因，并提供了可能的解决方案，如检查Redis的配置和连接设置，以及确保数据库的远程访问权限设置正确。
摘要由CSDN通过智能技术生成

1准备 ：redis数据库，Python的scrapy-redis包，[mysql数据库]redis安装目录下redis.windows.conf 配置文件修改bind 0.0.0.0[或局域网内,外网的IP地址]

protected-mode no

2配置scrapy  settings文件设置设置

SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

 

ITEM_PIPELINES = {
    'scrapy_redis.pipelines.RedisPipeline': 300,
    # '其他'
}

 

REDIS_HOST = '192.168.216.94'
REDIS_PORT = 6379
[如果需要密码则REDIS_PASSWORD=""]

3修改Spider 文件:

spider 文件里导入from scrapy_redis.spiders import RedisSpider,并且让爬虫类继承RedisSpider

取消start_urls,并在spider文件中设置redis_key ='你的redis的表名'


                

        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  EE__Bond
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
使用 scrapy-redis实现分布式爬虫

				
			

			

				

					LDC，公众号【轻松学编程】
				

				

					07-15
					
					2万+
					
				

			

		

		

			
				
Scrapy 和 scrapy-redis的区别

Scrapy 是一个通用的爬虫框架，但是不支持分布式，Scrapy-redis是为了更方便地实现Scrapy分布式爬取，而提供了一些以redis为基础的组件(仅有组件)。


  pip install scrapy-redis


Scrapy-redis提供了下面四种组件（components）：(四种组件意味着这四个模块都要做相应的修改)
...

			
		

	



                

              
                



	

		

			

				
					
scrapy-redis分布式多台设备协作

				
			

			

				

					我是张先生
				

				

					01-03
					
					3578
					
				

			

		

		

			
				
github

settings.py设置
#redis分布式
SCHEDULER  =  "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS  =  "scrapy_redis.dupefilter.RFPDupeFilter"
#还需要指定共同连接的非关系型数据库，redis需要在配置中设置密码以及 注释 bind
REDIS_URL = "...

			
		

	



                


  
              

                


	

		

			

				
					
scrapy-redis多台机器部署，但只有一台可执行

				
			

			

				

					weixin_46453301的博客
				

				

					03-25
					
					581
					
				

			

		

		

			
				
问题描述
使用scrapy-redis进行分布式抓取时，遇到了一个很奇怪的问题，有俩台机器，Windows电脑A，和Ubuntu电脑B，redis server部署在 Windows电脑A上，在电脑A,B启动爬虫后，俩只爬虫都进入监听状态，在redis中进行 url的lpush操作，奇怪的事情发生了，电脑A，或者电脑B中只有一台电脑能监听到 redis,但是具体哪个能够监听到这个很随机，有时是电脑...

			
		

	





	

		

			

				
					
基于Scrapy-Redis和docker技术在单机上构建分布式爬虫

				
			

			

				

					Kim891212的博客
				

				

					08-25
					
					328
					
				

			

		

		

			
				
准备工作:

安装docker https://www.docker.com/docker-ubuntu 选择ce版本
通过docker pull 下载基础镜像，ubuntu16.04, redis, mysql

docker pull ubuntu16.04
docker pull redis
docker pull mysql


启动一个redis容器：doc...

			
		

	



		

			
		



	

		

			

				
					
Scrapy-redis分布式爬虫详解

				
			

			

				

					wwxxee
				

				

					12-30
					
					450
					
				

			

		

		

			
				
1. 分布式爬虫原理
Scrapy单机爬虫有一个本地爬取队列Queue，如果新的Request生成就会放到队列里面，随后Request被Scheduler调度，之后Request交给Downloader执行。分布式爬虫有多个Scheduler和多个Downloader，而爬取队列始终为一个，也就是共享爬取队列，这样才能保证Scheduler从队列里调度某个Request之后，其他的Schedule...

			
		

	





	

		

			

				
					
解决scrapy+redis分布式爬虫 空跑问题

				
			

			

				

					Pylemon Blog
				

				

					09-29
					
					1202
					
				

			

		

		

			
				
问题说明：

在scrapy 结合redis做分布式爬取时，会出现scrapy已经完成爬取，但是爬虫却不会结束，一直等待新的url。 

将以下代码复制即可

 

实现：

1. 在settings.py目录下创建一个extensions.py文件，代码如下


# -*- coding: utf-8 -*-

# Define here the models for your scraped ...

			
		

	





	

		

			

				
					
Python基于Scrapy-Redis分布式爬虫设计毕业源码(毕设项目).zip

				
			

			

				

					06-08
				

			

		

		

			
				
 Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数）...

			
		

	





	

		

			

				
					
基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫设计源码

					
最新发布

				
			

			

				

					04-06
				

			

		

		

			
				
本资源提供了一套基于Python的Scrapy爬虫框架与Scrapy-Redis分布式爬虫的设计源码，包含61个文件，其中包括51个Python源代码文件，7个配置文件，以及1个Git忽略文件。此外，还包括1个文本文件和1个Markdown文档。...

			
		

	





	

		

			

				
					
Python基于Scrapy-Redis分布式爬虫设计毕业源码案例设计完整

				
			

			

				

					10-08
				

			

		

		

			
				
 Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数）...

			
		

	





	

		

			

				
					
Python基于Scrapy-Redis分布式爬虫设计 

				
			

			

				

					11-04
				

			

		

		

			
				
 Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数）...

			
		

	





	

		

			

				
					
Scrapy-Redis项目的搭建和部署

				
			

			

				

					qq_28463395的博客
				

				

					11-23
					
					1277
					
				

			

		

		

			
				
Scrapy-Redis项目的搭建和部署
Scrapy-Redis项目的引入
scrapy是爬虫框架，但是只能在一台机器上运行程序。假如数据量特别多，一台机器就不够用了，那么就要多台机器一起配合使用，多台机器同时运行程序，共同爬数据，所以引入了Scrapy-Redis框架。
Scrapy-Redis项目基本原理
多台机器同时爬数据最关键的问题是urls的调度问题，调度问题没控制好，可能导致重复爬取...

			
		

	





	

		

			

				
					
Python 学习 ---＞ 并行、分布式 框架 Celery

					
热门推荐

				
			

			

				

					freeking101的博客
				

				

					07-13
					
					5万+
					
				

			

		

		

			
				
Celery是一个异步任务的调度工具，也可以叫做 "分布式任务队列(Distributed Task Queue)"。

			
		

	





	

		

			

				
					
scrapy-redis介绍（一）

				
			

			

				

					hjhmpl123的博客
				

				

					11-22
					
					1万+
					
				

			

		

		

			
				
scrapy是python里面一个非常完善的爬虫框架，实现了非常多的功能，比如内存检测，对象引用查看，命令行，shell终端，还有各种中间件和扩展等，相信开发过scrapy的朋友都会觉得这个框架非常的强大。但是它有一个致命的缺点，不支持分布式。所以本文介绍的是scrapy_redis，继承了scrapy的所有优点，还支持分布式。1.安装scrapy安装scrapy非常简单:sudo pip inst

			
		

	





	

		

			

				
					
scrapy-redis下载及项目讲解

				
			

			

				

					weixin_42657103的博客
				

				

					08-15
					
					1359
					
				

			

		

		

			
				
首先，如果没有下载git，执行后续命令时，可能会报错。

下载地址：https://git-scm.com/downloads



安装很简单，一直进行下一步即可（个别选项依照个人需求更改）

空白处鼠标右击，点击 Git Bash Here 出现窗口，输入命令：git --version 即可查看当前下载的git版本（效果如下）



接下来就来下载 scrapy-redis项目

下载地址：...

			
		

	





	

		

			

				
					
基于Python+scrapy+redis的分布式爬虫实现框架

				
			

			

				

					smilemilk的博客
				

				

					08-08
					
					1万+
					
				

			

		

		

			
				
爬虫技术，无论是在学术领域，还是在工程领域，都扮演者非常重要的角色。相比于其他技术，爬虫技术虽然在实现上比较简单，没有那么多深奥的技术难点，但想要构建一套稳定、高效、自动化的爬虫框架，也并不是一件容易的事情。这里笔者打算就个人经验，介绍一种分布式爬虫框架的实现方法和工作原理，来给刚刚入门爬虫的同学们一点启发和提示。同时也希望大牛们能发表一些看法。

			
		

	





	

		

			

				
					
想提高爬虫效率,不如先明白一下Scrapy-Redis 分布式

				
			

			

				

					a1309525802的博客
				

				

					09-14
					
					3444
					
				

			

		

		

			
				
Scrapy-Redis 分布式（一）分布式爬虫简介1、为什么要用分布式2、Scrapy 和 Scrapy-redis 的区别3、Scrapy-redis 架构总结（二	）Scrapy-Redis 源码分析connection.pydupefilter.pypicklecompat.pypipelines.pyqueue.pyscheduler.pyspider.py
（一）分布式爬虫简介
1、为什么要用分布式
分布式爬虫就是多台计算机上都安装爬虫程序，重点是联合采集。比如爬虫 A，B，C 分别在三台服务器

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值