python简单使用xpath查找网页元素

最新推荐文章于 2024-09-24 15:44:36 发布
最新推荐文章于 2024-09-24 15:44:36 发布
阅读量134 收藏
点赞数
文章标签： python 开发语言
原文链接：https://www.cnblogs.com/zsjlovewm/p/11106458.html
版权 
 
   
xPath
 一种HTML和XML的查询语言，他能在XML和HTML的树状结构中寻找节点

 安装
 pip install lxml
 
   
 
   
HTML
 超文本标记语言，是一种规范，一种标注，是构成网页文档的主要语言

 URL
 统一资源定位器，互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置
 以及浏览应该怎么处理它。

 xPath的使用
 获取文本
 //标签1[@属性1="属性值1"]/标签2[@属性2="属性值"]/..../text()

 获取属性值
 //标签1[@属性1="属性值1"]/标签2[@属性2="属性值"]/..../@属性n
 
   
所需要的html文档

 
   
 
    
 
    
<!DOCTYPE html>
<html>
    <head lang="en">
        <meta charset="UTF-8">
        <title>注册页面</title>
        <style>
            table{
                border: 1px solid beige;
            }
            span{
                color: #66CCFF;
            }
            th{
                background-color: gainsboro;
            }
            tr{
                border: 1px solid beige;
            }
            td{
                border: 1px solid aliceblue;
            }
            .redText{
                color: red;
            }
            .redStar{
                color: red;
            }
        </style>
    </head>
    <body>
            <p>
            开始
        </p>
        <!-- 8列-->
        <h3>标题,我是一个大帅哥</h3>
        <ul>
            <li>内容1</li>
             <li>内容2</li>
             <li class="important">内容3important</li>
             <li>内容4</li>
             <li>内容5</li>
        </ul>
                    <p>
            中间
        </p>
        <div id = "container">
            段落文字
            <a href="http://www.baidu.com" title="超链接">跳转到百度首页</a>
        </div>
        <p>
            最后
        </p>
        <form action="">
            <table align="center" cellspacing="0">
                <tr>
                    <th colspan="8" align="left">1.会员登录名和密码</th>
                </tr>
                <tr>
                    <td>用户名：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><input type="button" value="检测用户名"/><span>5-15位，请使用英文(a-z、A-Z)、数字(0-9)</span></td>
                </tr>
                <tr>
                    <td>密&emsp;码：</td>
                    <td colspan="2"><input type="password"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><span>5-15位，请使用英文(a-z)、数字(0-9)注意区分大小写;<br/>密码不能与登录名相同;易记;难猜;</span></td>
                </tr>
                <tr>
                    <td>再次输入密码：</td>
                    <td colspan="2"><input type="password"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><span>两次输入的密码必须一致</span></td>
                </tr>
                <tr>
                    <th colspan="8" align="left">2.姓名和联系方式</th>
                </tr>
                <tr>
                    <td>真实姓名：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><input type="radio" checked="checked" name="Sex" value="male"/>先生<input type="radio" name="Sex" value="female"/>小姐</td>
                </tr>
                <tr>
                    <td>电子邮箱：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><span class="redText">非常重要！</span><br/><span>这是客户与您联系的首选方式，请一定填写真实。</span></td>
                </tr>
                <tr>
                    <td>固定电话：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><span>区号+电话号码</span></td>
                </tr>
                <tr>
                    <td>公司所在地：</td>
                    <td colspan="7">
                        <select>
                            <option>北京</option>
                            <option>上海</option>
                            <option>成都</option>
                        </select>
                        <select>
                            <option>东城
                            </option>
                            <option>武侯区</option>
                            <option>金牛区</option>
                        </select>
                    </td>
                </tr>
                <tr>
                    <td>街道地址：</td>
                    <td colspan="5"><input style="width: 350px;" type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="2"><span>填写县(区)、街道、门牌号</span></td>
                </tr>
                <tr>
                    <td>传真号码：</td>
                    <td colspan="7"><input type="text"/></td>
                </tr>
                <tr>
                    <td>手机号码：</td>
                    <td colspan="7"><input type="text"/></td>
                </tr>
                <tr>
                    <td>邮政编码：</td>
                    <td colspan="7"><input type="text"/></td>
                </tr>
                <tr>
                    <th colspan="8" align="left">3.公司名称和主营业务</th>
                </tr>
                <tr>
                    <td>贵公司名称：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"><span>请填写在工商注册的公司/商号全称;<br/>无商号的个体经营者填写执照上的姓名,如：张三(个体经营)</span></td>
                </tr>
                <tr>
                    <td>你的职位：</td>
                    <td colspan="2"><input type="text"/><span class="redStar">*&emsp;</span></td>
                    <td colspan="5"></td>
                </tr>
                <tr>
                    <td>主营行业：</td>
                    <td colspan="2">
                        <select>
                            <option>电子电工</option>
                            <option>IT科技</option>
                            <option>小猪佩奇</option>
                        </select>
                    </td>
                    <td colspan="5"><span>请正确选择。您会收到该行业、该产品的供求信息</span></td>
                </tr>
                <tr>
                    <td>主营产品/服务：</td>
                    <td colspan="7"><input  style="width: 250px;" type="text"/><span class="redStar">*&emsp;</span><span>3个主要相关品名/服务名,最少要填一个。例如：太阳帽，布料，拉链</span>
                    </td>
                </tr>
                <tr>
                    <td>公司地址：</td>
                    <td colspan="7"><input  style="color: darkgrey;width: 250px;" type="text" value="http://"/></td>
                </tr>
                <tr>
                    <td></td>
                    <td colspan="7"><input style="background-color: #00FF00;color: white" type="submit" value="确认提交"/></td>
                </tr>
            </table>
        </form>
    </body>
</html>
---------------------
作者：郑清
来源：CSDN
原文：https://blog.csdn.net/qq_38225558/article/details/82700939
版权声明：本文为博主原创文章，转载请附上博文链接！
 
    
 
   
 
   
 
   
所涉及的python代码

from lxml import html

def parse():
    """"将html文件中的内容,使用小path进行提取"""
    #读取文件中的内容
    f = open('./venv/static_/index.html','r',encoding = 'utf-8')
    s = f.read()

    selector = html.fromstring(s)
    #j解析标题
    h3 = selector.xpath('/html/body/h3/text()')
    print(h3[0])#这里取到的是个list,我用使用列表获取
    f.close()

    #解析ul里面的内容
    ul = selector.xpath('/html/body/ul/li')
    # ul = selector.xpath('//ul/li')也可以使用
    print(len(ul))
    for li  in ul:
        print(li.xpath('text()')[0])

    #解析tr里面的内容
    # tr = selector.xpath('/html/body/form/table/tr/td/text()')
    # print(tr)

    #解析ul指定的元素值
    ul2 = selector.xpath('/html/body/ul/li[@class="important"]/text()')
    print(ul2)

    #解析ul指定的元素属性
    a = selector.xpath('//div[@id="container"]/a/text()')
    print(a[0])

    #href属性
    alink = selector.xpath('//div[@id="container"]/a/@href')
    print(alink[0])

    #解析p标签
    p = selector.xpath('/html/body/p/text()')
    # p = selector.xpath('/html/body/p[last()]/text()') #获取最后一个
    print(len(p))
    print(p[0])

    #使用浏览的xpath生成工具
    test = selector.xpath('/html/body/form/table/tr[1]/th/text()')#只能借鉴/html/body/form/table/tbody/tr[1]/th
    print(test[0])


if __name__== '__main__':
    parse()




 
   
 
  
 
  
 
 
 
 

   少壮不努力，老大徒伤悲 
 
 
 
 
 
 
  

    标签: 
   python 
  
 
  
 
    
    
   
 
    

      0 
    
 
    

      0 
    
 
    
 
    
 
   
 
  
 
  
 
  
 
   «  上一篇： 
   python与json转换 
   
 
   »  下一篇： 
   python自动化selenium封装 
  
 
 
 


                

        

        

    

  


    

      

        

            

              
                
                  jggnice
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
python爬虫之xpath的基本使用详解

				
			

			

				

					09-20
				

			

		

		

			
				
Python爬虫中，XPath是一种强大的查询语言，用于在XML或HTML文档中查找和解析数据。XPath的全称是XML Path Language，它允许开发者通过路径表达式来选取XML文档中的节点，包括元素、属性、文本等。XPath在Python的...

			
		

	



                

            
              



	

		

			

				
					
python中获取网页元素

					
热门推荐

				
			

			

				

					qq_15994257的博客
				

				

					09-06
					
					1万+
					
				

			

		

		

			
				
python中获取网页元素

一、方法概括


xml/html文本： 正则表达式re、xpath


json文件：jsonpath模块、正则表达式re


二、通用方法
使用所有方法获取页面元素都是需要先请求获取数据(爬虫)，对返回数据进行分析，获取数据通过 request.get/post ( … ) 方法，并接收返回数据。


语法：
response = request(url, headers=headers, proxies=proxies, ...)



其中 response 是用来接收

			
		

	



              


  
              

                


	

		

			

				
					
Python爬虫教程——解析网页中的元素

				
			

			

				

					想学习python欢迎在评论区留言，我看到都会用心回复
				

				

					09-28
					
					1004
					
				

			

		

		

			
				
Xpath使用路径表达式在XML文档中进行导航，解析到路径跟踪到的XML元素。Css Selector定位实际就是HTML的Css选择器的标签定位。顾名思义CSS selector就是一种按照样式进行选择的一种标签选择方式。

			
		

	





	

		

			

				
					
如何找到网页按钮或者其他元素的XPath

					
最新发布

				
			

			

				

					qq_63961628的博客
				

				

					09-24
					
					527
					
				

			

		

		

			
				
右键点击网页按钮，选择“检查”或按 F12（Windows）或 Command+Option+I（macOS）。点击1，然后将鼠标移动到左侧需要定位的按钮位置，鼠标左键点击一下。你现在已经复制了该按钮的 XPath，可以在脚本或代码中使用。再右键点击右侧区域高亮的HTML代码。选择“复制”->“复制 XPath”

			
		

	



		

			
		



	

		

			

				
					
python自动化测试（三）：xpath获取元素

				
			

			

				

					欢迎来到长风沛雨的博客
				

				

					10-26
					
					2007
					
				

			

		

		

			
				
py自动化：xpath获取元素

			
		

	





	

		

			

				
					
Python + Selenium —— 网页元素定位之Xpath定位！_python 浏览器上级节点

				
			

			

				

					2401_84572612的博客
				

				

					05-15
					
					1246
					
				

			

		

		

			
				
不知道你们用的什么环境，我一般都是用的Python3.6环境和pycharm解释器，没有软件，或者没有资料，没人解答问题，都可以免费领取（包括今天的代码），过几天我还会做个视频教程出来，有需要也可以领取~给大家准备的学习资料包括但不限于：Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。

			
		

	





	

		

			

				
					
在 Python 中使用 Selenium 查找元素

				
			

			

				

					迹忆客
				

				

					11-10
					
					380
					
				

			

		

		

			
				
我们已经讨论了在 Python 中使用 selenium 根据不同属性查找元素的不同方法。每个属性都有其功能。我们还可以使用私有方法 find_elements 并提供不同的属性作为参数。另一件需要注意的事情是，本文中的方法返回所有可能匹配的元素列表。如果我们只需要找到一个元素，我们可以在每个讨论的函数中用 elements 替换 element。例如，find_elements 变为 find_element。

			
		

	





	

		

			

				
					
Python使用xpath实现图片爬取

				
			

			

				

					09-17
				

			

		

		

			
				
在Python编程中，XPath是一种强大的查询语言，用于在XML或HTML文档中查找信息。在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath ...

			
		

	





	

		

			

				
					
python定位xpath 节点位置的方法

				
			

			

				

					09-18
				

			

		

		

			
				
使用Python结合Selenium库来定位这些元素可以通过XPath表达式完成。  例如，若要定位`<html>`标签，可以使用XPath表达式`'/html'`，这表示从文档的根节点开始选取。而`'//html'`则是从任意位置选取所有的`<html>`...

			
		

	





	

		

			

				
					
Python爬虫解析XPATH讲义

				
			

			

				

					06-06
				

			

		

		

			
				
Python爬虫解析XPATH讲义  Python爬虫解析XPATH讲义是使用Python语言进行网络爬虫开发时，使用XPATH语言来提取HTML和XML文档中的信息的技术讲义。在本讲义中，我们将学习XPATH语言的基本概念、安装方法、路径表达式...

			
		

	





	

		

			

				
					
Python Selenium XPath根据文本内容查找元素的方法

				
			

			

				

					01-21
				

			

		

		

			
				
那该如何找到该元素？  上一页 <a>1 <a>2 下一页  解决办法  text()  text() 函数文本定位  page_next = driver.find_element(By.XPATH, '//a[text()=下一页)]')  contain()  contains 匹配一个属性值中

			
		

	





	

		

			

				
					
【Python获取网页元素的值】

				
			

			

				

					weixin_45498884的博客
				

				

					09-06
					
					1972
					
				

			

		

		

			
				
要实现网页元素值的获取，我们可以借助 Python 的强大第三方库 BeautifulSoup 和 requests。：这是一个用于网页内容解析的强大工具。它能够将 HTML 和 XML 文档解析为易于操作的 Python 对象，使我们可以方便地查找、提取和修改网页中的特定元素。BeautifulSoup 支持多种解析器，如lxml和html5lib，可以根据实际需求选择合适的解析器。requests：用于发送 HTTP 请求并获取网页内容。

			
		

	





	

		

			

				
					
认识爬虫：beautifulsoup4 库如何使用三种方式提取 html 网页元素？

				
			

			

				

					sfdsfgdgd的博客
				

				

					05-08
					
					1436
					
				

			

		

		

			
				
Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

			
		

	





	

		

			

				
					
Python实现网页自动化-浏览器查找元素（二）

				
			

			

				

					IT菜鸟，分享职场踩坑与打怪升级记录~
				

				

					05-22
					
					6631
					
				

			

		

		

			
				
欢迎关注我的微信公众号：编程技术圈获取更多精选内容





前言

在上一节中(Python实现网页自动化-初步使用（一））已经部署了Selenium+chromedriver的开发环境，在真正的开发之前，还需要学会利用浏览器来查找网页元素；

因为Selenium是通过程序来自动操控网页的控件元素，比如单击某个按钮、输入文本框内容等，若网页中有多个同类型的元素，好比有多个按钮，想要Selenium精准地单击目标元素，需要将目标元素的具体信息告知Selenium，让它根据这些信息在网页上找到该元素并进..

			
		

	





	

		

			

				
					
Python—selenium —xpath定位方法详解

				
			

			

				

					软件测试技术交流分享
				

				

					09-18
					
					3070
					
				

			

		

		

			
				
今天我们来聊聊selenium -- xpath定位方法，我们都知道selenium有八大定位策略分别是id、name、class name、tag name、link text、partial link text、xpath、css 。那么我们今天呢主要来讲讲八大定位策略中的xpath的定位方法，废话不多说我们直接开始吧。

			
		

	





	

		

			

				
					
Xpath查找元素大全

				
			

			

				

					qq_35127617的博客
				

				

					06-14
					
					1908
					
				

			

		

		

			
				
Python+selenium

			
		

	





	

		

			

				
					
【python】用BeautifulSoup对象寻找网页上的元素

				
			

			

				

					Hit the keyboard hard
				

				

					07-08
					
					641
					
				

			

		

		

			
				
大家好，我是胡亥大魔王。今天介绍python中用BeautifulSoup对象寻找网页上的元素

			
		

	





	

		

			

				
					
Selenium 基本元素操作（参考）

				
			

			

				

					weixin_30762087的博客
				

				

					12-14
					
					108
					
				

			

		

		

			
				
原出处链接：http://www.cnblogs.com/Javame/p/3848258.html
元素操作


查找元素

使用操作如何找到页面元素Webdriver的findElement方法可以用来找到页面的某个元素，最常用的方法是用id和name查找。下面介绍几种比较常用的方法。
By ID假设页面写成这样：
<input type=”text” nam...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值