python学习之xpath基础

最新推荐文章于 2023-10-02 14:21:08 发布
最新推荐文章于 2023-10-02 14:21:08 发布
阅读量508 收藏 2
点赞数
分类专栏： 学习文档 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wizard_hu/article/details/50493516
版权 
#-*-coding:utf8-*-

from lxml import etree
html = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>

    <div id="url">
        <a href="http://jikexueyuan.com">极客学院</a>
        <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a>
    </div>
</div>

</body>
</html>
'''

selector = etree.HTML(html)

#提取文本 text()
content = selector.xpath('//ul[@id="useful"]/li/text()')
for each in content:
    print each

#提取属性 @
link = selector.xpath('//a/@href')
for each in link:
    print each

title = selector.xpath('//a/@title')
print title[0]

<pre name="code" class="python">#-*-coding:utf8-*-
from lxml import etree

html1 = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test-1">需要的内容1</div>
    <div id="test-2">需要的内容2</div>
    <div id="testfault">需要的内容3</div>
</body>
</html>
'''

html2 = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test3">
        我左青龙，
        <span id="tiger">
            右白虎，
            <ul>上朱雀，
                <li>下玄武。</li>
            </ul>
            老牛在当中，
        </span>
        龙头在胸口。
    </div>
</body>
</html>
'''

#使用starts-with提取 id以test开头的div里面的文字
# selector = etree.HTML(html1)
# content = selector.xpath('//div[starts-with(@id,"test")]/text()')
# for each in content:
#     print each

selector = etree.HTML(html2)

#直接使用text()无法提取嵌套标签的内容
# content_1 = selector.xpath('//div[@id="test3"]/text()')
# for each in content_1:
#     print each
#
#使用string(.)提取嵌套标签里面的文字
data = selector.xpath('//div[@id="test3"]')[0]
info = data.xpath('string(.)')
content_2 = info.replace('\n','').replace(' ','')
print content_2



 


                

        

        

    




    

      

        

            

              
                
                  这堆干货有点猛
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    2
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
Python爬虫之Xpath的text()与string()用法

				
			

			

				

					weixin_43636211的博客
				

				

					04-28
					
					8515
					
				

			

		

		

			
				
我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息，但是某些元素下包含很多嵌套元素，
我们想一并的提取出来，这时候就用到了string(.)方法，但是该方法使用的时候跟text()不太一样，下面就举实例来讲解一下具体的区别。
以这个段子为例，如果我们使用text()来拿取这个，会发现这一个段子竟然有11个text()信息，那么我们直...

			
		

	



                

              
                



	

		

			

				
					
Python 爬虫学习笔记二： xpath 模块

				
			

			

				

					JennyChen66的博客
				

				

					11-14
					
					1万+
					
				

			

		

		

			
				
Python 爬虫学习笔记二： xpath from lxml
首先应该知道的是xpath 只是一个元素选择器， 在python 的另外一个库lxml 中， 想要使用xpath 必须首先下载lxml 库
lxml 库的安装： 很简单， 具体请查看 http://www.jianshu.com/p/2bc5aa0db486  
上述链接中有如何安装lxml ， 以及如何使用xpath的入门程序， 以及

			
		

	



                


  
              

                


	

		

			

				
					
Python爬虫课程作业，requests+xpath学习

				
			

			

				

					05-08
				

			

		

		

			
				
内容概要：学习使用爬虫技术从网络爬取小说
技术：Python，requests，xpath，lxml
能学到什么：Python爬虫基础，requests基础，xpath数据提取。
适用人群：软件开发与爬虫学习人群，具有一定的编程技术
使用场景：爬虫学习与研究
阅读建议：此资源在于综合学习Python爬虫技术，不仅是代码编写实现也更注重内容上的需求分析和方案设计，所以在学习的过程要结合这些内容一起来实践，并调试对应的代码。
其他说明：本资源只能用于学习与研究，不可用于非法用途。
文章链接：https://blog.csdn.net/iwantrain/article/details/130551354

			
		

	





	

		

			

				
					
利用Python中的Xpath实现一个在线汇率转换器

				
			

			

				

					01-19
				

			

		

		

			
				
前言
在之前的语法里面，我们记得有一个初识Python之汇率转换篇，在那个程序里面我们发现可以运用一些基础的语法写一个汇率计算，但是学到后面的小伙伴就会发现这个小程序有一定的弊端。
首先，它不可以实时的获取汇率的值，每次都需要我们自己去定义一个汇率转换值，这个就会显得不是很智能，有点机械，所以我们这一个利用爬虫爬取一个网址里面的汇率值（一直在更新的），这里我们利用Xpath来获取这个数据值
其次我们发现在之前的程序里面，我们好像只能输入两位数的货币数据，这一次我们通过正负索引的方法，只获取除了最后三个单位的之外的数据即可，灵活的运用，然后输出最后带入单位，最后让输出个更加的美观和直接。
下面我

			
		

	



		

			
		



	

		

			

				
					
Python爬虫基础之XPath语法与lxml库的用法详解

				
			

			

				

					09-20
				

			

		

		

			
				
主要给大家介绍了关于Python爬虫基础之XPath语法与lxml库用法的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

			
		

	





	

		

			

				
					
Python网络爬虫基础篇下

				
			

			

				

					06-10
				

			

		

		

			
				
您观看课程学习后免费入群领取【超全Python资料包+17本学习电子书】
本课程主要给大家分享基于Python语言的网络爬虫基础篇体验，其中讲解Python网络爬虫(XPath、Beautiful Soup和pyquery)解析库的使用，抓包工具的使用，以及如何实现图片信息爬取和Ajax信息的爬取。后给大家分享一个动态渲染页面信息的爬取。


			
		

	





	

		

			

				
					
零基础学习python爬虫.zip

					
最新发布

				
			

			

				

					03-01
				

			

		

		

			
				
爬虫（Web Crawler）是一种自动化程序，用于从互联网上收集信息。其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。

爬虫的工作流程包括以下几个关键步骤：

URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。

请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的HTML内容。这通常通过HTTP请求库实现，如Python中的Requests库。

解析内容： 爬虫对获取的HTML进行解析，提取有用的信息。常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。

数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用的存储形式包括关系型数据库、NoSQL数据库、JSON文件等。

遵守规则： 为避免对网站造成过大负担或触发反爬虫机制，爬虫需要遵守网站的robots.txt协议，限制访问频率和深度，并模拟人类访问行为，如设置User-Agent。

反爬虫应对： 由于爬虫的存在，一些网站采取了反爬虫措施，如验证码、IP封锁等。爬虫工程师需要设计相应的策略来应对这些挑战。

爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。

			
		

	





	

		

			

				
					
xpath之string(.)方法

				
			

			

				

					weixin_33842304的博客
				

				

					02-20
					
					4736
					
				

			

		

		

			
				
from lxml import  etree

html = '''
    <li class="tag_1">需要的内容1
       <a>需要的内容2</a>
    </li>
'''

selector =  etree.HTML(html )
contents  =  selector.xpath ( '//li[@class = ...

			
		

	





	

		

			

				
					
Xpath的string(.)用法

				
			

			

				

					qq_35944102的博客
				

				

					08-24
					
					4769
					
				

			

		

		

			
				
Xpath的string(.)用法
Xpath的text()与string(.)
我们在爬取网站使用Xpath提取数据的时候，最常使用的就是Xpath的text()方法，该方法可以提取当前元素的信息，但是某些元素下包含很多嵌套元素，
我们想一并的提取出来，这时候就用到了string(.)方法，但是该方法使用的时候跟text()不太一样，下面就举实例来讲解一下具体的区别。
实例网站：https://www.qiushibaike.com/text/page(页码)
列如


以这个段子为例，如果我们使用tex

			
		

	





	

		

			

				
					
Python - 爬虫 - Xpath定位之starts-with()和string()函数的简单使用

				
			

			

				

					TKK的博客
				

				

					05-21
					
					2530
					
				

			

		

		

			
				
Python - 爬虫 - Xpath定位之starts-with()和string()函数的简单使用
文章目录Python - 爬虫 - Xpath定位之starts-with()和string()函数的简单使用starts-with()1. 函数原型2. 使用starts-with()获取相同字符开头的多个标签string()1. 函数原型2. 使用string()获取标签套标签的文本内容参考
starts-with()
1. 函数原型




函数
解释




fn:starts-with(stri

			
		

	





	

		

			

				
					
Python爬虫解析工具之xpath使用详解

				
			

			

				

					程序员小十一的博客
				

				

					08-19
					
					8122
					
				

			

		

		

			
				
文中详解介绍了Python爬虫开发中常见的数据解析方式重点是xpath解析工具，如xpath概念、xpath插件安装、lxml库安装、xpath路径表达式、xpath结合Python代码的使用

			
		

	





	

		

			

				
					
Python——基础学习xpath（爬虫）

				
			

			

				

					qq_61707205的博客
				

				

					09-11
					
					1399
					
				

			

		

		

			
				
Python爬虫xpath

			
		

	





	

		

			

				
					
MarkLogic学习——XPath中的text()和string()区别

				
			

			

				

					随-记的专栏
				

				

					03-19
					
					2万+
					
				

			

		

		

			
				
摘要： 在XPath中，经常使用text()和string()，而我一般都是想到哪个用哪个，究竟他们之间有什么不同，没有在意过。本质区别text()是一个node test，而string()是一个函数，data()是一个函数且可以保留数据类型。此外，还有点号（.）表示当前节点。使用要点XML例子： 
<book><author>Tom John</author></book>
  用例
  举例

			
		

	





	

		

			

				
					
【XPath】XPath 网页爬虫

				
			

			

				

					ranmaxli的博客
				

				

					03-09
					
					919
					
				

			

		

		

			
				
申明：

python3.6

顺利安装




# 安装
from lxml import etree

wb_data = """
        &lt;div&gt;
            &lt;ul&gt;
                 &lt;li class="item-0"&gt;&lt;a href="link1.html"&gt;first ite

			
		

	





	

		

			

				
					
Python爬虫之xpath的详细使用（爬虫）

					
热门推荐

				
			

			

				

					墨痕诉清风的博客
				

				

					07-13
					
					3万+
					
				

			

		

		

			
				
8、上面我们使用绝对路径，查找了所有a标签的属性等于href属性值，利用的是/---绝对路径，下面我们使用相对路径，查找一下l相对路径下li标签下的a标签下的href属性的值，注意，a标签后面需要双//。7、上面我们找到全部都是绝对路径（每一个都是从根开始查找），下面我们查找相对路径，例如，查找所有li标签下的a标签内容。3、获取某个标签的内容(基本使用)，注意，获取a标签的所有内容，a后面就不用再加正斜杠，否则报错。5、打印指定路径下a标签的属性（可以通过遍历拿到某个属性的值，查找标签的内容）

			
		

	





	

		

			

				
					
Python爬虫——XPath的使用

				
			

			

				

					万里顾一程的博客
				

				

					07-29
					
					8178
					
				

			

		

		

			
				
可以用xpath插件来动态的获取xpath路径（将鼠标悬停在需要选取的文本数据上，然后按下shift按键就会自动出现定位该文本的Xpath表达式，然后再根据需求对表达式修改。先发送请求访问网站，得到网站源码，然后解析网站源码，从网站源码中使用xpath表达式定位到需要下载的图片地址，然后用urllib.request.urlretrieve()方法下载。4、调用xpath路径，提取数据，xpath的返回数据是列表类型。2、发送请求访问网站，得到服务器响应的页面源码。使用实例二从网站上下载图片。.......

			
		

	





	

		

			

				
					
Python--爬虫--XPath入门

				
			

			

				

					qq_57663276的博客
				

				

					10-09
					
					1196
					
				

			

		

		

			
				
Python--爬虫（爬取4）--XPath入门

			
		

	





	

		

			

				
					
Python——Xpath的知识梳理

				
			

			

				

					2201_75965563的博客
				

				

					10-02
					
					107
					
				

			

		

		

			
				
XPath，全称，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。所以在做爬虫时完全可以使用 XPath 做相应的信息抽取。XPath 的选择功能十分强大，它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过 100 个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有想要定位的节点都可以用 XPath 来选择。

			
		

	





	

		

			

				
					
python爬虫常用的解析库

				
			

			

				

					JONE_WUQINGJIANG的博客
				

				

					07-25
					
					1220
					
				

			

		

		

			
				
python支持很多很强大的解析库。下面我总结了几种，基本上熟练掌握一两个解析这块就没任何问题了。
1.XPath
XPath 全称 XML Path Language ，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言
它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索

使用之前安装好 lxml 库

如果想查询更多 XPath 的用法，可以查看： http...

			
		

	





	

		

			

				
					
pythonXPATH

				
			

			

				

					08-26
				

			

		

		

			
				
XPATH是一种用于在XML文档中定位节点的语言。在Python中，使用lxml库可以方便地使用XPATH来解析和提取XML文档中的数据。通过XPATH，我们可以获取指定节点的属性值，比如获取北京、上海、天津的属性值可以使用以下代码：text2 = ' '.join(tree.xpath("//ol/li/a/@href"))这段代码会返回一个包含北京、上海、天津属性值的列表。
要使用XPATH，首先要导入所需要的包，例如lxml库。然后，可以使用本地源码获取方式并加载到etree内，如下所示：tree = etree.parse('test.html')
在CSDN上已经有很多大佬发过关于XPATH的文章，它们讲解得很好。如果你刚开始学习网络爬虫，对XPATH这些基础重要知识还不太了解，可以参考这些文章。本篇文章只是简单介绍了一下XPATH及其使用，总体来说比较基础。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
-  *1* *2* *3* [Python : Xpath简介及实例讲解](https://blog.csdn.net/xiaobai729/article/details/124079260)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值