xpath的基础语法

# -*- coding: UTF-8 -*-
# author :   kele
# time   :  2018/12/24 22:13


# 环境python3.6
# etree 解析网页html代码的模块
from lxml import etree

# 1.获取源码
html = open('index.html', 'r', encoding='utf-8').read()

# 转换为Element对象
# 对html源代码进行解析，还可以用etree.HTML
# etree.parse()
html = etree.fromstring(html)
print(html)
# 通过标签名直接查找标签，使用//标签名，//从任何位置开始
# 返回的结果放在列表中，存放的的是Element对象
res = html.xpath('//a')

for ele in res:
    # 获取ele的href属性值
    # 获取标签的某个属性值，用@属性名,返回列表
    href = ele.xpath('@href')[0]
    # 获取标签内的文本内容
    # text()获取标签内的文本
    contents = ele.xpath('text()')[0]

res = html.xpath('//a/@href')
# //a/text() 只获取a标签直接文本，子标签内文本不会获取到
res = html.xpath('//a/text()')
print(res)
# //a//text() 获取该标签所有文本，包含子孙节点下的文本，将结果放入列表
res = html.xpath('//a//text()')
print(res)

# 通过标签的属性值查找标签
divs = html.xpath('//div[@id="main"]')
print(divs[0].xpath('text()'))

divs = html.xpath('//div[@class="t1"]')
for d in divs:
    print(d.xpath('text()'))

# contains()找到某个属性包含某个属性值的标签
# * 任意标签
divs = html.xpath('//*[contains(@class, "red")]')
for d in divs:
    print(d.xpath('text()'))

# li[num]  num表示找到第几个li标签
lis = html.xpath('//ul[@id="bottom"]/li[1]')
# li[last()] 表示找到最后一个li标签
# li[last()-1] 找到倒数第二个
lis = html.xpath('//ul[@id="bottom"]/li[last()-1]')
for l in lis:
    print(l.xpath('text()'))