爬网页的时候设置了头但是还是不能爬取的原因

最新推荐文章于 2024-01-29 11:44:33 发布
最新推荐文章于 2024-01-29 11:44:33 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： 笔记 错误 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43541507/article/details/102693031
版权

！！！
肯定是你的头设置错了
最开始爬百度的时候 我的代码是这样写的：

import requests
url = "https://www.baidu.com/"
head = {
  "user_Agent": "Mozilla/5.0"}
data = requests.get(url , headers = head)

这样写完全没问题，能正确爬取页面
但事实在爬取猫眼的时候就不可以了，
显示的是403，错误代码
其实原因很简单出在头的位置，
我们爬虫实际上是模拟人的操作的
故只要让他认为你是浏览器就可以了
故原因肯定是在头上


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  Titan_h
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  2
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
vue使用axios解决post请求不成功问题

				
			

			

				

					qq_37196621的博客
				

				

					10-26
					
					4062
					
				

			

		

		

			
				
vue使用axios解决post请求不成功问题

			
		

	



                

              
                



	

		

			

				
					
Python网络爬虫爬淘宝无法爬取问题的解决方法

				
			

			

				

					holysinner
				

				

					09-14
					
					6155
					
				

			

		

		

			
				
看了嵩天教授的【Python网络爬虫与信息提取】.MOOC. 北京理工大学 课程，里面有一段演示如何从淘宝爬取价格信息，但实际操作却不行，问题在于淘宝19年开始实行搜索必须登录，但是Python爬取该如何做呢？

 先上完整代码：


import requests
import re

def getHTMLText(url): #获得页面函数,淘宝需要登录验证，暂时访问不了
    tr...

			
		

	



                


  
              

                


	

		

			

				
					
python没有requests_python中用requests为什么无法获得目标网站？

				
			

			

				

					weixin_39769228的博客
				

				

					11-30
					
					143
					
				

			

		

		

			
				
从问题简介中的图片和下面回答里其他人截图的Headers部分来看，对方网站使用了CloudFlare的CDN，这个CDN自带一个简单的WAF。通常情况下这个WAF会在网站被访问的时候给客户端一个__cfduidCookie，然后让客户端执行一段JavaScript代码计算出一个值，再带着这个算出来的值去请求CloudFlare的校验接口，校验通过后会将当前的Cookie对应的uid变为校验通过状态...

			
		

	





	

		

			

				
					
php采集今日头条出现问题,使用php蓝天采集抓取今日头条ajax的文章内容

				
			

			

				

					weixin_36042403的博客
				

				

					03-09
					
					308
					
				

			

		

		

			
				
今日头条的数据都是ajax加载显示的，按照正常的url是抓取不到数据的，需要分析出加载出址，我们以 https://www.toutiao.com/search/?keyword=%E6%96%B0%E9%97%BB 为例来采集列表的文章用谷歌浏览器打开链接，右键点击“审查”在控制台切换至network并点击XHR，这样就可以过滤图片、文件等等不必要的请求只看页面内容的请求 由于页面是ajax加...

			
		

	



		

			
		



	

		

			

				
					
Nginx自定义请求头head失效问题

				
			

			

				

					niki_yang
				

				

					04-24
					
					1519
					
				

			

		

		

			
				
在配置Nginx做转发的时候，踩了一个不错的坑，这个坑是这样的，后端在获取请求头的值得时候，一直取到的是null，比如java


httpRequest.getHeader("jwt_token")

这个一直返回null，原因是Nginx的配置

underscores_in_headers

这个值默认是off，表示请求头如果带下划线默认是忽略掉的，恰巧自定义的请求头就是带了下划线，这是后需...

			
		

	





	

		

			

				
					
请求时设置了Header请求和token可是后台接收不到，然后一直报跨域错误

					
最新发布

				
			

			

				

					m0_55045698的博客
				

				

					01-29
					
					1237
					
				

			

		

		

			
				
最近项目出了一个疑难杂症，恶心死我。请求方法为 GET、POST、HEAD，请求头header中无自定义的请求头信息，请求类型Content-Type 为 text/plain、multipart/form-data、application/x-www-form-urlencoded 的请求都是简单请求。浏览器根据这些请求方法和请求类型将请求划分为简单请求和非简单请求。请求方法为 PUT、DELETE 的 AJAX 请求、发送 JSON 格式的 AJAX 请求、带自定义头的 AJAX 请求都是非简单请求。

			
		

	





	

		

			

				
					
Python爬虫案例1：爬取淘宝网页数据

				
			

			

				

					10-27
				

			

		

		

			
				
因此，我们需要设置合理的请求间隔（使用time模块）、更换User-Agent（通过headers参数设置）甚至使用代理IP池来避免被封禁。  数据抓取完成后，通常会保存为CSV或Excel文件以便进一步处理。Python的pandas库非常...

			
		

	





	

		

			

				
					
网页爬取爬虫

				
			

			

				

					10-10
				

			

		

		

			
				
网页爬取爬虫是一种自动化技术，用于从互联网上抓取大量数据，通常用于数据分析、市场研究、搜索引擎优化等。在Java语言中实现网页爬虫，我们可以利用强大的库如Jsoup和HttpURLConnection，它们能帮助我们方便地解析...

			
		

	





	

		

			

				
					
Java爬虫网页上的所有链接网址.zip_java 网页爬虫_java网页爬虫_爬取所有链接_网页爬虫链接

				
			

			

				

					09-24
				

			

		

		

			
				
这通常涉及设置URL、打开连接、设置请求头（如User-Agent）以及处理响应状态码。  2. **读取HTML内容**：获取HTTP响应的输入流，并将其转换为字符串，通常是使用字符编码如UTF-8进行解码。  3. **解析HTML**：使用...

			
		

	





	

		

			

				
					
python爬虫，爬取CNNNews网页的带视频的新闻

				
			

			

				

					03-25
				

			

		

		

			
				
Python爬虫技术是数据获取的重要工具，特别是在网络信息丰富的今天，爬取CNNNews等网站的带视频新闻可以为我们提供大量的实时信息。在这个项目中，我们将使用Python编程语言，特别是其强大的网络爬虫库，如...

			
		

	





	

		

			

				
					
python爬虫：爬取动态网页内容

				
			

			

				

					04-27
				

			

		

		

			
				
Python爬虫技术在现代互联网数据抓取中扮演着重要角色，尤其在处理动态网页内容时。动态网页是指那些通过JavaScript或者其他客户端技术动态生成内容的页面，这些内容在原始HTML加载时并不可见，而是由浏览器执行脚本...

			
		

	





	

		

			

				
					
Python爬虫：为什么你爬取不到网页数据

				
			

			

				

					坚持不懈的大白的博客
				

				

					08-09
					
					3万+
					
				

			

		

		

			
				
之前小编写了一篇关于爬虫为什么爬取不到数据文章（文章链接为：https://liuze.blog.csdn.net/article/details/105965562），但是当时小编也是胡乱编写的，其实里面有很多问题的，现在小编重新发布一篇关于爬虫爬取不到数据文章，希望各位读者更加了解爬虫。......

			
		

	





	

		

			

				
					
跨域加了header也解决不了？

				
			

			

				

					qq_39286701的博客
				

				

					07-22
					
					271
					
				

			

		

		

			
				
1.在jsp页面加header根本没有用，请求压根到不了jsp里面。像这样：

2.我使用servelet的监听器，跨域问题成功解决！

跨域知识：跨域资源共享 CORS 详解



			
		

	





	

		

			

				
					
使用了爬虫http代理仍然爬不到数据？

				
			

			

				

					Laicaling的博客
				

				

					08-21
					
					863
					
				

			

		

		

			
				
爬虫用代理IP之后为什么还遇到问题？很多朋友在使用了海量定制代理IP、控制了访问速度和次数、设置了UserAgent、Referer等一系列方式的情况下，发现爬虫工作还是会遇到各种不好的情况，导致爬虫工作总是不那么顺利的进行，无法高效的爬取大量数据，按时完成每天的工作任务，问题出在哪里呢，有什么好的解决办法呢？
每个网站反扒策略不一样，所以需要具体问题具体分析。不过有些基本的操作还是要做好的，如下...

			
		

	





	

		

			

				
					
java网页爬虫遇到的问题及解决方法

				
			

			

				

					q347853660的博客
				

				

					12-10
					
					1436
					
				

			

		

		

			
				
1.在写爬虫的时候，爬回来的东西里面有&nbsp；变成问号或者变成乱码，这是因为编码格式出现错误。
String temp = els.text().replace(Jsoup.parse(" ").text(), " ");
替换掉就可以了。


2.Classforname（"om.mysql.jdbc.Driver"）错误，导入mysqlconnector即可。

			
		

	





	

		

			

				
					
爬虫爬取到空网页的解决办法和防止被封号的技巧---设置headers和proxies

				
			

			

				

					qq_43714612的博客
				

				

					08-01
					
					2343
					
				

			

		

		

			
				
通过Python的requests.get(url)有时候会爬到的内容有时候是空网页。原因是网站检测到你发送的request不正常。
这时候通过设置headers参数来模拟真实浏览器发送的请求，往往能解决问题。
headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537

			
		

	





	

		

			

				
					
爬取百度搜索子网页的（文字、url、时间），爬取不了的截图——2

				
			

			

				

					mr_xinL的博客
				

				

					03-24
					
					567
					
				

			

		

		

			
				
尝试了百度进行某关键词搜索（比如“和平精英”），并搜索前30页。发现百度搜索的优点和不足。优点：1、搜索面广，涉及不同的网页，如图中的知乎、搜狐、腾讯网、网易号、贴吧等等。2、能够让自己对不了解的东西有个较为全面的认识。缺点：存在很多重复的内容，爬取了30页共300条子网址，我发现有用的子网页就70条左右。（当然，不包括视频网址和文本网址，我是仅以截图内容进行判断）
通过excel处理后的相关数据...

			
		

	





	

		

			

				
					
爬虫小白-如何辨别是否有cookie反爬案例

				
			

			

				

					十一姐的博客
				

				

					07-23
					
					4289
					
				

			

		

		

			
				
cookie参数一般是通过两种方式生成，一种是服务端返回的cookie，另一种是网页端有javascript代码生成的cookie，可通过这个防爬

			
		

	





	

		

			

				
					
python 爬虫禁止访问解决方法（403）

					
热门推荐

				
			

			

				

					weixin_NineDays66
				

				

					06-07
					
					9万+
					
				

			

		

		

			
				
1.增加Header2.代理IP3.终极方法4.实例练习5.更多思考在上一篇博客中说到，程序使用一段时间后会遇到HTTP Error 403: Forbidden错误。 因为在短时间内直接使用Get获取大量数据，会被服务器认为在对它进行攻击，所以拒绝我们的请求，自动把电脑IP封了。 解决这个问题有两种方法。一是将请求加以包装，变成浏览器请求模式，而不再是“赤裸裸”的请求。 但有时服务器是根据同一I...

			
		

	





	

		

			

				
					
网页有数据，但是爬取的时候显示null

				
			

			

				

					04-30
				

			

		

		

			
				
可能是因为你的爬虫没有成功地解析网页上的数据。这种情况通常出现在网页使用了动态加载的方式，所以在爬取时需要使用更加高级的技术，如模拟浏览器操作或使用 AJAX 技术等。

另外，还有可能是因为你的爬虫被网站防护机制拦截了，可以尝试模拟人类的请求方式，如增加请求头、限制请求频率等方法来规避这种情况。

最后，如果以上方法都无效，那么可能需要分析网页的源代码，找出数据所在的位置并手动解析数据。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 2

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值