xpath解析

-环境安装:
        - pip install 1xml
-解析原理:html标签是以树状的形式进行展示
        - 1. 实例化一个etree的对象,且将待解析的页面源码数据加载到该对象中
        - 2.调用etree对象的xpath方法结合着不同的xpath表达式实现标签的定位和数据提取
- 实例化etree对象
        - etree .parse( 'filename' ) :将本地html文档加载到该对象中
        - etree.HTML(page_text ) :网站获取的页面数据加载到该对象
- 标签定位:
        - 最左侧的/:如果xpath表达式最左侧是以/开头则表示该xpath表达式- -定要从根标签 开始定
位指定标签(忽略)                                                                                                                                        - 非最左侧的/ :表示一个层级
        - 非左侧的//:表示多个层级
        - 最左侧的//: xpath表达式可以从任意位置进行标签定位
        - 索引定位: tag.[index]: 索引是从1开始
        - 模糊匹配:
                - //div.[contains(Qclass,_ "ng")l
                - //div.[starts-with(eclass, "ta")].

-取文本                                                                                                                                                /text():直系文本内容
        //text():所有的文本内容

-取属性                                                                                                                                                        /@attrName

from 1xm1 import etree
tree = etree.parse('test.html')
tree.xpath('/html/head/meta') #定位meta
tree.xpath('/html//meta') #定位meta
tree.xpath('/html//meta') #定位meta
tree.xpath('//meta') #定位meta

        - 局部数据解析:
                - 我们要将定位到的页 面中的标签作为待解析的数据。再次使用xpath表达式解析待解析的数据。
                - 在局部数据解析的时候,xpath表达式中要使用. /的操作,. /表示的就是当前的局部数据。

1i_list = tree.xpath('//div[ @class="slist"]/u1/li')
for li in li_list:
    # 解析li下的数据
    print(type(li)) #li的数据类型和tree的数据类型一样,li也可以调用xpath方法
    li.xpath('./a/img') #进行局部数据解析

        ●需求:要求解析出携带html标签的局部数据?
                ■bs4,bs4在实现标签定位的时候返回的直接就是定位到标签对应的字符串数据

        ●xpath表达式如何更加具有通用性?
                ■在xpath表达式中使用管道符分割(|)的作用,可以表示管道符左右两侧的子xpath表达式同时生效或者一个生效。

注意:xpath中不可出现tbody标签

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值