xpath抓取的值有空格换行符等问题

最新推荐文章于 2023-02-03 22:51:02 发布
最新推荐文章于 2023-02-03 22:51:02 发布
阅读量2w 收藏 18
点赞数 4
文章标签： xpath chrome
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012836179/article/details/69950766
版权
解决办法： 
normalize-space（）

 
例子：
原来的xpath为：
user=selector.xpath('//*[@id="Con"]/tr[1]/th/text()')
修改后：
user=selector.xpath('
normalize-space(
//*[@id="Con"]/tr[1]/th/text())')
#注意位置


 


                

        

        

    




    

      

        

            

              
                
                  我的就是你的就是我的
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    4
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    18
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  7
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
xpath爬取过程出现不规则数据的解决方法

				
			

			

				

					洪博hopes的博客
				

				

					10-03
					
					4186
					
				

			

		

		

			
				
在今天使用xpath库爬取boss直聘济南在找职位的信息时，遇到了一个获取列表元素溢出的情况，具体是什么样的问题，我下面贴图来看一下。

大家注意观察这两个职位信息，几乎信息都是规则分布的，但在公司规模信息那里却出现了不规则现象，当然这些不规则也会体现在html代码中。


大家可以看到，html代码块中的不规则现象不利于我们对信息的提取，如果我们采用下面的方法硬获取，就会报出列表溢出的错误。
s...

			
		

	



                

              
                



	

		

			

				
					
获取的内容，如果有换行，空行等下面方法可以实现去除

				
			

			

				

					青衫折扇的博客
				

				

					03-21
					
					782
					
				

			

		

		

			
				
遍历后在使用这个方法，不然遍历前使用，遍历后还是没什么效果




re.sub(r"[\s+\.\!\/_,$%^*(+\"\')]+|[+——?【】？~@#￥%……&*]+|\\n+|\\r+|(\\xa0)+|(\\u3000)+|\\t", "",str(_section))
...

			
		

	



                


  
              

                


	

		

			

				
					
python 爬取内容&nbsp空格空行内容问题

				
			

			

				

					weixin_49572581的博客
				

				

					08-31
					
					4430
					
				

			

		

		

			
				
今天用xpath提取的网页的文本出现&nbsp，类似于空格，空行这样，提取文本打印出现如下情况：
很是难受，本来自己对于爬虫就是新手小白，然后转念一想，BS4是一个强大的解析库，所以就试了一下，结果2行代码搞定上述问题，解决办法如下图：
这样打印出来就舒服很多了。O(∩_∩)O

...

			
		

	





	

		

			

				
					
Python 爬虫必杀技：XPath

				
			

			

				

					丁鱼教育官方博客
				

				

					07-03
					
					353
					
				

			

		

		

			
				
小伙伴、大伙伴们，大家好~今天要给大家介绍的是Python 爬虫必杀技：XPath。

1. 简介

   一提到网络爬虫，就不得不提到Xpath Helper，我们常常用它来对所要提取的文本内容进行定位。除了这一利器外，了解Xpath定位的原理及其基本用法可以大幅提高我们的爬虫技巧。

   XPath即XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。现在问题来了，爬虫是从HTML网页上抓取信息，你给我介绍XML干嘛？实际上...

			
		

	



		

			
		



	

		

			

				
					
PHP 超链接 抓取实现代码

				
			

			

				

					10-29
				

			

		

		

			
				
`：匹配可能存在的空格、制表符、换行符，这部分是可选的，用于处理链接前后的空白字符。  - `href=[\'"]?(.+?)[\'"]?`：匹配`href`属性，允许属性值用单引号或双引号包围，也可以不包围（这在HTML中是合法的）。  -...

			
		

	





	

		

			

				
					
杂货网站抓取：本地杂货的价格监控

				
			

			

				

					02-14
				

			

		

		

			
				
- **数据清洗**：抓取的数据可能存在噪声，需要进行清洗，如处理空格、换行符，或剔除不相关的字符。  - **批量抓取**：对于大量商品，可以使用循环或并行处理来抓取整个网页的商品信息。  - **实时监控**：可以设定...

			
		

	





	

		

			

				
					
python天气数据的爬取

				
			

			

				

					04-26
				

			

		

		

			
				
 获取的原始数据通常包含噪声和非结构化信息，需要进行清洗，如去除空格、换行符，处理缺失值，将字符串转换为数字等。Pandas库是数据处理的利器，可以方便地进行数据过滤、排序、合并等操作。  4. **数据存储**：  ...

			
		

	





	

		

			

				
					
选科要求爬虫思路1

				
			

			

				

					08-08
				

			

		

		

			
				
在循环中，对获取到的专业名和选科要求进行数据清洗，去除换行符、制表符和空格，以便后续处理。同时，将这些信息写入到Excel表格中，每条记录对应一行，学校名、专业名和选科要求分别写入相应列。  这个爬虫程序...

			
		

	





	

		

			

				
					
xpath之提取的文本及列表数据去除空格换行符核心

				
			

			

				

					cypnl的博客
				

				

					02-03
					
					3777
					
				

			

		

		

			
				
xpath去除文本换行符及空格之列表与单行文本比价

			
		

	





	

		

			

				
					
xpath中存在空格的处理------normalize-space的实际应用

				
			

			

				

					zhouxuan623的专栏
				

				

					04-25
					
					1万+
					
				

			

		

		

			
				
normalize,字面意思就是正规化 加入space 大概意思就是空格的处理了

官方解释是这样的:

通过去掉前导和尾随空白并使用单个空格替换一系列空白字符，使空白标准化。如果省略了该参数，上下文节点的字符串值将标准化并返回。



刚好在实际项目中碰到了这样的一个问题,

定位一个下来的时候,最开始的时候是这样写的:


//span[@class=' ']/div/table/tr[5...

			
		

	





	

		

			

				
					
调用normalize-space函数清除多余空格时导致爬取内容清空问题和清除爬取内容的空格换行字符问题

				
			

			

				

					weixin_42736507的博客
				

				

					11-19
					
					2541
					
				

			

		

		

			
				
解决调用normalize-space函数清除多余空格时导致爬取内容清空和清除爬取内容的空格字符
一、函数的使用方法为：
见官网链接：

二、对于normalize-space函数清除多余空格时导致爬取内容清空：
对于该问题建议不使用该函数，因为该函数是在xpath路径中使用，我们只需将xpath路径爬取的内容保存为字符串，然后使用正则表达式re.sub()替换空格换行符即可：
re.sub(pa...

			
		

	





	

		

			

				
					
python爬取内容剔除nbsp_python 爬虫爬取内容时， \xa0 、 \u3000 的含义与处理方法...

				
			

			

				

					weixin_39548776的博客
				

				

					11-30
					
					1681
					
				

			

		

		

			
				
转自：https://www.cnblogs.com/BlackStorm/p/6359005.html处理方法 str.replace(u'\xa0', u' ')最近用 scrapy 爬某网站，发现拿到的内容里面含有 \xa0 、 \u3000 这样的字符，起初还以为是编码不对，搜了一下才知道是见识太少 233 。\xa0 是不间断空白符  我们通常所用的空格是 \x20 ，是在标准...

			
		

	





	

		

			

				
					
解析库XPath的使用

				
			

			

				

					降温的博客
				

				

					10-19
					
					632
					
				

			

		

		

			
				
文章目录1.XPath概览
XPath,全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。
所以在做爬虫时，我们完全可以使用XPath来做相应的信息抽取。
1.XPath概览
XPath的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等。几乎我们

...

			
		

	





	

		

			

				
					
关于定位元素时遇到带有空格的属性值

				
			

			

				

					weixin_30376509的博客
				

				

					12-13
					
					802
					
				

			

		

		

			
				
类似这种：

   首先这是按照书中写的，本以为带空格应该没什么问题，但是运行会报错，书中也没有标明这种情况报错的话怎么解决，还好我不耻下问，在一个自动化测试群里，寻得了我想要的答案，就是如果只能用这个标签，我该怎么修改标签内容而不会报错。
    答案就是用“.”代替空格，如下：

   事实证明，此方法确实有效。
转载于:https://www.cnblogs...

			
		

	





	

		

			

				
					
xpath去除换行\空格

					
热门推荐

				
			

			

				

					青衫折扇的博客
				

				

					11-13
					
					2万+
					
				

			

		

		

			
				
使用xpath获取文本内容,有空格或者换行就用normalize-space()方法

例:


intro_li = div.xpath('normalize-space(.//div[@class="bookinfo"]/p/text())').extract_first()

print(intro_li)

 ...

			
		

	





	

		

			

				
					
正则表达式 与 XPath 语法领域细解，初学阶段的你，该怎么学？

				
			

			

				

					梦想橡皮擦，专栏100例写作模式先行者，现象级专栏 《Python 爬虫 100 例》作者、《滚雪球学 Python 专栏》原创者
				

				

					08-21
					
					2万+
					
				

			

		

		

			
				
周末不休息，更文！

			
		

	





	

		

			

				
					
xpath去换行符和空格

				
			

			

				

					qq_43227756的博客
				

				

					02-26
					
					5586
					
				

			

		

		

			
				
normalize-space/strip
item.xpath('normalize-space(./div[@class="tags"])')
item.xpath('./div[@class="tags"]').strip()




			
		

	





	

		

			

				
					
爬虫 零碎记录 xpath 注意事项 text()[x]可以取下标

				
			

			

				

					weixin_65922074的博客
				

				

					08-22
					
					568
					
				

			

		

		

			
				
4.re.findall（），xpath（） ，strip（）去首尾空格，replace（）字符串替换等，各种函数返回的都是新的对象，原对象对函数的调用不会更改原对象的内容。特殊情况：当xpath（）得到的元素中含有特殊字符（目前遇到的比如\n换行符）时，需要将该元素用str（）将etree对象转化成字符串 后再处理。必须要将函数的调用赋值给一个变量（可以是新的变量，也可以是自身，但是都必须要赋值，然后再调用这个赋值过的变量。xpath中的//表示跨节点，/表示不跨节点，元素之间的过渡。

			
		

	





	

		

			

				
					
xpath去除换行符和空格

					
最新发布

				
			

			

				

					04-23
				

			

		

		

			
				
可以使用以下XPath表达式来去除空格和换行符：  normalize-space(//text())  其中"//text()"会选取所有的文本节点，而"normalize-space()"函数则会去除其中的空格和换行符。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 7

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值