scrapy爬虫始终定位不到元素

最新推荐文章于 2022-04-22 20:29:20 发布
最新推荐文章于 2022-04-22 20:29:20 发布
阅读量1k 收藏 2
点赞数 1
文章标签： selenium xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gofreshman/article/details/105114534
版权

scrapy爬虫始终定位不到元素

欲抓取网页链接
谷歌浏览器审查时界面
在这里插入图片描述
复制的xpath路径为//*[@id=“history”]/tr[1]/td[1]，使用浏览器控制台验证无误
在这里插入图片描述
但使用get和xpath得到值为空列表
这里使用requests库定位抓取元素

查看网页源代码对应路径下确实无此元素在这里插入图片描述疑为异步加载网页，查看network
在这里插入图片描述
搜索并未找到欲抓取元素，难受。
不断调试试验，最终在firefox复制xpath绝对路径，并使用selenium成功定位到元素，成功代码如下：


                

                
                
        

        

    




        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  新鲜的菜鸟本菜
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    1
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
关于在python中scrapy模块的scrapy shell中通过xpath无法查询到相应的元素的问题

				
			

			

				

					Ui_none的博客
				

				

					10-18
					
					719
					
				

			

		

		

			
				
前言
某天打算使用scrapy shell爬取prts上信息的时候复制了元素的xpath却在scrapy shell中无法查询到相应的结果，得到的结果是一个空列表，如图：

但是在某些网站的某些元素却是可以成功查询到有效的结果，比如说百度网站的“百度一下”按钮

正文
在网上搜索结果后主要有两种观点，第一种是Chrome的复制xpath会自动添加<tbody>标签，即使源码上不存在这个标签，这样自然无法查询到正确有效的结果，但是我爬取的prts的元素恰好有<tbody>标签，所以不是

			
		

	



                

              
                



	

		

			

				
					
scrapy 网页抓取时的定位问题

				
			

			

				

					ding810的博客
				

				

					07-19
					
					326
					
				

			

		

		

			
				
最近在做一个简单的静态网页内容抓取程序，在抓取过程中总是遇到定位不准确，数据返回值为空列表或者抓了一大堆非目标信息的问题，让我头疼不已。思考之后，就想着做一个简单的归纳总结，以便以后抓取网址时提高效率。

1.链接命名方法

要做好准确网页数据的定位，首先我认为要搞明白网页数据位置的命名方法。这边以中关村的某个页面控制台为例



可以看到这个页面上所有的链接都有特定的标签项。方便起见，我就按颜色...

			
		

	



                


  
              

                


	

		

			

				
					
selenium webdriver定位不到元素的五种原因及解决办法

				
			

			

				

					星辰海閣
				

				

					12-21
					
					5944
					
				

			

		

		

			
				
1.动态id定位不到元素
for example:
        //WebElement xiexin_element = driver.findElement(By.id("_mail_component_82_82"));
        WebElement xiexin_element = driver.findElement(By.xpath("//span[contains(

			
		

	





	

		

			

				
					
python 爬虫时遇到元素无法定位

				
			

			

				

					juice_10的博客
				

				

					01-21
					
					693
					
				

			

		

		

			
				
NoSuchElementException: no such element: Unable to locate element: {"method":"css selector","selector":"[name="username"]"}
  (Session info: chrome=88.0.4324.96)

一般是因为时间不够，资源还再加载。所以可以在找元素前延时一会儿
time.sleep(2)


...

			
		

	



		

			
		



	

		

			

				
					
python scrapy 无法通过网页上复制的xpath查找到有效的元素的分析

				
			

			

				

					Ui_none的博客
				

				

					10-20
					
					470
					
				

			

		

		

			
				
前言



			
		

	





	

		

			

				
					
Python 爬虫案例（六）--xpath定位不到

				
			

			

				

					Agnes_Zhang的博客
				

				

					09-23
					
					4755
					
				

			

		

		

			
				
xpath定位不到的问题，实际上就是我们表面上看到的网页格式并不是真实的网页格式，举例说明：https://xxgk.eic.sh.cn/jsp/view/eiaReportList.jsp 这个网页，先建立好爬虫项目，起好爬虫的名字，这里爬虫名字就为：test.py.

...

			
		

	





	

		

			

				
					
Scrapy网站爬虫源码.zip

				
			

			

				

					08-23
				

			

		

		

			
				
8. **Models（模型）**：虽然Scrapy本身并不直接支持ORM（对象关系映射），但开发者可以结合其他库（如SQLAlchemy）来实现数据模型，方便将爬取的数据持久化到数据库。  9. **Scheduler（调度器）**：调度器负责管理...

			
		

	





	

		

			

				
					
python scrapy爬虫代码及填坑

				
			

			

				

					09-18
				

			

		

		

			
				
它定位到页面中包含小说名称和链接的元素，然后为每个链接生成一个新的请求，传递给`parse_book`方法，同时在请求的meta参数中存储书名信息。  `parse_book`方法处理单本书的详细信息，提取出章节名称和对应的URL。...

			
		

	





	

		

			

				
					
微博爬虫，一个基于Scrapy框架的轻量微博爬虫，Sina Weibo Spider.zip

				
			

			

				

					12-30
				

			

		

		

			
				
3. **数据抽取**：微博的数据可能包含文字、图片、视频等多种类型，需要通过选择器定位到相应元素并提取。  4. **数据清洗与存储**：提取的数据可能包含噪声，需要进行清洗，如去除HTML标签、URL编码解码等。之后，...

			
		

	





	

		

			

				
					
使用Scrapy框架通过response获取元素为none的问题

				
			

			

				

					qq_44251163的博客
				

				

					12-22
					
					1917
					
				

			

		

		

			
				
使用Scrapy框架通过response获取元素为none的问题
最近在学习python的网络爬虫，有个学习任务是需要爬取巨潮资讯的某一板块的咨询
如下图的内容：
使用的代码如下
class JuchaonewsSpider(scrapy.Spider):
    name = 'juchaonews'
    allowed_domains = ['www.cninfo.com.cn']
    start_urls = ['http://www.cninfo.com.cn/new/commonUrl?u

			
		

	





	

		

			

				
					
爬虫项目案例讲解 案例二：定位、爬虫、定位页面元素、分别定位、简单处理抓取数据（有总结）

				
			

			

				

					qq_40486976的博客
				

				

					10-13
					
					448
					
				

			

		

		

			
				
爬虫项目案例讲解 案例二：定位、爬虫、定位页面元素、分别定位、简单处理抓取数据（有总结）
1.scrapy shell [要爬取的网址]
他可以很直观的反馈给你要定位的元素是否可以定位到
2.打开后然后再把：
response.xpath("//*[@id=“ml_001”]/table/tbody/tr[1]/td[1]/a/text()").extract()；语句写入，看如果可以返回值说明可...

			
		

	





	

		

			

				
					
Python - 爬虫之Scrapy

				
			

			

				

					GitLqr的博客
				

				

					07-13
					
					1337
					
				

			

		

		

			
				
欢迎关注微信公众号：FSA全栈行动 ????

一、scrapy 概念和流程
1、概念
Scrapy 是一个 python 编写的，被设计用于爬取网络数据、提取结构性数据的开源网络爬虫框架。

作用：少量的代码，就能够快速的抓取
官方文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/


补充：Scrapy 使用了 Twisted 异步网络框架，可以加快下载速度

2、工作流程

其流程描述如下：

爬虫中起始的 url 构造成 request 对象 --&gt

			
		

	





	

		

			

				
					
[Scrapy教学5]掌握Scrapy框架重要的XPath定位元素方法

				
			

			

				

					学海无涯苦作舟的博客
				

				

					03-07
					
					1352
					
				

			

		

		

			
				
Scrapy网页爬虫框架除了提供[Scrapy教学4]掌握Scrapy框架重要的CSS定位元素方法文章中所分享的css（）方法（方法）来定位网页元素（Element）外，也提供了xpath（）定位方法（方法）让开发者使用。
XPath（XML路径语言）是一个使用类似档案路径的语法，来定位XML文件中特定特定的（节点）的语言，因为能够有效的查找节点（节点）的位置，所以也被广泛的使用在Python网页爬虫的元素（Element）定位上。
本文就延续使用[Scrapy教学4]掌握Scrapy框架重要的CSS定位.

			
		

	





	

		

			

				
					
python 爬虫：BeautifulSoup(bs4) 找不到对应的元素

				
			

			

				

					爱美食的Geek
				

				

					02-13
					
					9272
					
				

			

		

		

			
				
import re
import urllib.parse
from bs4 import BeautifulSoup

 soup  = BeautifulSoup(html_cont,'html.parser')
 readList = soup.find_all('div',id="post_next_prev")

如上代码： 右键审查网页元素时，很明显的能找到 id 为post_next...

			
		

	





	

		

			

				
					
Python自动化测试专栏——元素定位不到常见问题及解决办法

				
			

			

				

					weixin_48826751的博客
				

				

					04-12
					
					2731
					
				

			

		

		

			
				
1.元素id动态变化
以如下图片举例

当我们要定位到该元素时，如果采用id属性定位，那么很有可能定位不到。
原因：当我们刷新一遍网页时，会发现id值发生变化，表明它是个动态id,每次自动化时会因为值不同无法定位到该元素
解决方法：采用其他属性定位，如案例中即可采用data-placeholder的值定位
2.定位的元素嵌套在iframe当中
以如下图片举例

以刚刚图片举例，当我们选择用data-placeholder定位时，发现还是定位不到，我们将检查元素界面往前翻

原因：发现该元素嵌套在iframe

			
		

	





	

		

			

				
					
爬虫使用xpath解析时返回为空，获取不到相应的元素的原因和解决办法

					
热门推荐

				
			

			

				

					小鱼干儿的博客
				

				

					04-22
					
					1万+
					
				

			

		

		

			
				
xpath写的对，但是返回值为空
在写爬虫的时候解析网页，使用最多的解析方式就是xpath解析，但是在使用在使用xpath解析的时候，通常会遇到会获取不到相应元素的情况

原因通常是前端做的一些反爬措施，在编写网页的时候通常省略一层标签，但是被省略的标签浏览器会自动补充，修改成正确的结构
我们通过浏览器进行检查的时候，看到的代码结构是已经被浏览器修改后的，而爬虫获取到的是源代码
所以根据修改后的xpath解析源代码会找不到相应的元素
...

			
		

	





	

		

			

				
					
xpath定位不到元素，试试这招？

				
			

			

				

					python爬虫人工智能大数据
				

				

					08-07
					
					7220
					
				

			

		

		

			
				
最近在做一个自动化测试项目，遇到公众号元素定位无法找到的情况，通过uiautomator查看元素，按钮有text值，试了很多方法，通过xpath的@text方法没找到，后...

			
		

	





	

		

			

				
					
scrapy爬取页面不完全的解决办法

				
			

			

				

					吟游诗人——吟唱生命的不朽
				

				

					12-25
					
					5113
					
				

			

		

		

			
				
最近在使用scrapy来制作爬虫以爬取一些网站上的信息，但是却出现了一个很奇怪的问题，即在网页中打开待爬取的URL，并在网页源代码中定位了某些待爬取的元素，但是当使用scrapy爬取数据时，却发现报错了，而错误竟然是所爬取到的网页中并没有我在浏览器中看到的元素，即对于同一个URL，爬取到的页面和我在浏览器中打开所看到的页面不一样！
在反复确认CSS类选择器没写错，爬虫所爬取的URL没有被重定向到另...

			
		

	





	

		

			

				
					
Scrapy爬虫之拉勾网招聘数据分析

					
最新发布

				
			

			

				

					05-11
				

			

		

		

			
				
Scrapy可以通过XPath或CSS选择器来定位页面元素并提取信息。在爬虫代码中，我们可以设置起始URL和回调函数，在回调函数中提取页面信息并将结果保存到本地或数据库中。  对于拉勾网的招聘数据分析，我们可以从以下...

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值