python scrapy处理404

最新推荐文章于 2022-09-19 20:23:35 发布
最新推荐文章于 2022-09-19 20:23:35 发布
阅读量3.7k 收藏 1
点赞数
分类专栏： python 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012329294/article/details/80512056
版权 
class ZfSpider(RedisSpider):
    handle_httpstatus_list = [404]
 

 

在自己的代码中，加入
 

handle_httpstatus_list = [404]
 

就可以了。

                

        

        

    

  


    

      

        

            

              
                
                  灰暗角落里的琴
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
【Python爬虫必备—＞Scrapy框架快速入门篇——上】

				
			

			

				

					孤寒者的博客
				

				

					08-09
					
					63万+
					
				

			

		

		

			
				
【Python爬虫必备—＞Scrapy框架快速入门篇——上】

			
		

	



                

            
              



	

		

			

				
					
scrapy 出现４０４处理

				
			

			

				

					黑暗骑士
				

				

					09-20
					
					1万+
					
				

			

		

		

			
				
第一种解决策略：


from scrapy.http import Request
from scrapy.spider import BaseSpider


class MySpider(BaseSpider):
    handle_httpstatus_list = [404, 500]
    name = "my_crawler"

    start_urls = ["htt

			
		

	



              


  
              

                


	

		

			

				
					
scrapy框架遇到404就暂停怎么办？

				
			

			

				

					limit123123的博客
				

				

					09-19
					
					692
					
				

			

		

		

			
				
遇到404的状态码，暂停是scrapy的默认操作。

			
		

	





	

		

			

				
					
scrapy 404 问题 & HTTP status code is not handled or not allowed

				
			

			

				

					笑笑布丁的博客
				

				

					09-25
					
					2819
					
				

			

		

		

			
				
背景：在使用scrapy爬取网页时，当一个页面的http code是404时，scrapy会略掉它，然而，如果你想在爬虫里对http code是404，做特殊处理的时候，就不会应验。
解决办法： 在settings 文件里 加上 ：
HTTPERROR_ALLOWED_CODES = [404]


...

			
		

	



		

			
		



	

		

			

				
					
scrapy 链接404_Python爬虫进阶（九）：http&scrapy请求与响应

				
			

			

				

					weixin_39607837的博客
				

				

					11-21
					
					626
					
				

			

		

		

			
				
前言在写系列教程的时候，很多时候我会以为自己写了一些东西，最后回头去看才发现完全没写到，就只能像这样赶紧补上一节。总的来说这都是因为我写东西不拉大纲(也许以后老板让我拉大纲我就会拉了)，还有一点是写教程的时候我也在学习，如果我中间断了一会或者写的时间太长了，确实会发生最后回看教程发现少写东西的情况。这还不是最丢人的，看上去总有一天我会在结束一个教程，说完“我就讲到这里为止”之后再发现自己少写了东西...

			
		

	





	

		

			

				
					
第一个scrapy程序遇到的问题

				
			

			

				

					DEREK_D的博客
				

				

					11-15
					
					467
					
				

			

		

		

			
				
1 

no module name items

这里可以使用框架自带的命令操作，实验证明不会出这种错

scrapy gensipder sipder baidu.com

这里的spider 为爬虫名字，baidu.com为网站域名。

错误可能源于（1）import xxx，应该为from xxx  import xxx

                      （2）重新命名模块，名...

			
		

	





	

		

			

				
					
pythonscrapy爬虫实例Python爬虫Scrapy实例

					
最新发布

				
			

			

				

					02-04
				

			

		

		

			
				
### Python爬虫Scrapy实例详解  #### 创建Scrapy项目  Scrapy是一款强大的开源网页抓取框架，被广泛应用于数据采集领域。本文档旨在通过一个具体的示例，详细讲解如何使用Scrapy创建并运行一个基本的爬虫项目。  ###...

			
		

	





	

		

			

				
					
Python Scrapy 爬虫框架demo

				
			

			

				

					12-04
				

			

		

		

			
				
Scrapy是Python编程语言中的一款强大且高效的爬虫框架，专为数据抓取和网络爬虫设计。这个框架提供了一整套工具，使得开发者能够快速地构建起自己的爬虫项目，处理网页数据变得简单易行。在"Python Scrapy 爬虫框架...

			
		

	





	

		

			

				
					
Python Scrapy框架第一个入门程序示例

				
			

			

				

					09-18
				

			

		

		

			
				
Scrapy是一个强大的Python爬虫框架，它为网络数据抓取提供了高效的工具集，包括网页下载、解析、数据处理和存储等多个环节。以下是对标题和描述中提到的知识点的详细解释：  1. **Scrapy框架创建项目**：使用`scrapy...

			
		

	





	

		

			

				
					
Python Scrapy多页数据爬取实现过程解析

				
			

			

				

					09-16
				

			

		

		

			
				
在Python的Web爬虫开发中，Scrapy框架是一个强大的工具，尤其在处理多页数据爬取时。本篇文章将深入解析如何使用Scrapy实现多页数据的爬取，以七牛百科（Qiushibaike）网站为例，展示具体步骤和代码实现。  首先，...

			
		

	





	

		

			

				
					
scrapy 让404不走failerr路线

				
			

			

				

					weixin_34315189的博客
				

				

					01-13
					
					275
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
用Python抓取全站中的404错误

				
			

			

				

					weixin_33736832的博客
				

				

					08-06
					
					1156
					
				

			

		

		

			
				
2019独角兽企业重金招聘Python工程师标准>>>   
                                        
         ...

			
		

	





	

		

			

				
					
python scrapy 抓取字符串后一般处理方法源代码

				
			

			

				

					u012329294的专栏
				

				

					05-29
					
					1776
					
				

			

		

		

			
				
def parse(self, response):

    selector = Selector(response)
    data = selector.xpath("//div[@class='header']/div/p")[1]
    header = data.xpath("string(.)").extract()
    print(header)
    info = '...

			
		

	





	

		

			

				
					
Scrapy爬虫 捕获403状态码抛出CloseSpider异常

					
热门推荐

				
			

			

				

					haipengdai的博客
				

				

					09-17
					
					1万+
					
				

			

		

		

			
				
1、爬数据的时候，有时会遇到被该网站封IP等情况，response的状态码为403，那么这时候我们希望能够抛出
CloseSpider的异常。
2、但是如scrapy官网提到的，Scrapy默认的设置是过滤掉有问题的HTTP response(即response状态码不在200-300之间)。因此403的情况会被ignore掉，意思就是我们不是处理这个url 请求的response，直接就忽略

			
		

	





	

		

			

				
					
python调用接口404_tornado捕获和处理404错误的方法

				
			

			

				

					weixin_35691715的博客
				

				

					02-11
					
					761
					
				

			

		

		

			
				
Tornado 文档中提到但是这样只能捕获到handlers中列出的路径请求中的错误。如果只定义了(r"/hello", HelloHandler) 一条规则，那么只能捕获到 /hello/other，这样的未定义路径请求，而像/he、/helloworld、/he/other这样的会直接显示Tornado默认的404错误页面，而不会显示自定义的错误页面。解决方法很简单只需要在路由规则的最后加一条...

			
		

	





	

		

			

				
					
Python实现404页面识别实践

				
			

			

				

					浪子燕青的博客
				

				

					03-18
					
					1962
					
				

			

		

		

			
				
“你说我虽然是个普通人，我也想人家关注我啊，我也想有女孩喜欢我啊，我也想有什么东西可以吹牛啊......总不能因为我没本事很普通，就当一辈子的路人甲吧？那有什么意思啊？可在家里我真的是什么都没有，”他摊了摊手，“什么都没有......我饿了，你有没有什么吃的？”

阅读提要

全文约4.8K字，大致阅读完约6分钟，包含主要知识点：HTTP状态码，网页跳转方式，404错误页面种类，定制型网址404识别，通用型404页面识别，其中关键部位文字使用橙色重点标注，网址使用绿色重点标注，具体代码结果保存在文末。

目

			
		

	





	

		

			

				
					
【爬虫】scrapy下载图片问题

				
			

			

				

					lyz19921004的博客
				

				

					06-12
					
					2073
					
				

			

		

		

			
				
scrapy爬虫入门很简单，推荐一个入门中文网站：[http://www.scrapyd.cn/doc/]，在此不再赘述
一、 爬取图片时，能够拿到图片的url，但是使用scrapy的pipelines保存图片时，遇到了错误，报警如下：
[scrapy.core.engine] DEBUG: Crawled (404) <GET https://newimg.uumtu.com/Thumb/...

			
		

	





	

		

			

				
					
scrapy遇到的坑关于 scrapy发起请求和requests发起请求返回的数据不一样的问题 (发起的是request payload)

				
			

			

				

					lunhui951229的博客
				

				

					03-21
					
					4004
					
				

			

		

		

			
				
在抓取携程的时候遇到一个问题 刚开始因为公司是内网的原因scrapy无法访问网站 已启动就是超时重连后来决定用requests来对携程进行采集

刚开始用requests进行采集的时候一点没有问题采集回来的数据如下



返回的数据一切正常但是使用scrapy就出现了问题出现的问题和如下:



可以看到返回的是聚是类似html类似的东西 解析起来比较麻烦后来找到问题所在:



在请求头中加入...

			
		

	





	

		

			

				
					
Python Scrapy爬虫框架入门教程

				
			

			

				

					
				

			

		

		

			
				
"这是一份关于Python爬虫入门的内训教程，重点介绍了Scrapy爬虫框架，并补充了Python基础知识，包括列表、元组、字符串的切片操作以及列表生成式和生成器的概念。此外，还提及了协程在Python中的应用，作为异步编程...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
灰暗角落里的琴

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值