使用xpath解析网页的实例（完整代码）

本文以解析搜狗网页为例，使用xpath方法解析出来它的十个搜锁热词，代码简洁通俗易懂，非常适合初学者入门。完整代码如下：

#导入相关库

import requests
from lxml import etree

#发送HTTP请求及响应
url='https://weixin.sogou.com/'
rqq=requests.get(url)

#将rqq对象转换为DOM
html=etree.HTML(rqq.content,etree.HTMLParser(encoding='utf-8'))
#etree.tostring(html,encoding='utf-8').decode('utf-8')

#方法一：通过网页查看热词位置，手写路径

print(html.xpath('/html/body/div/div/div/ol/li/a/text()'))

#方法二：压缩一下的路径，不需要一步一步写了，前面所有路径都可以是//*来代替

html.xpath('//*[@id="topwords"]/li/a/text()')

#方法三：使用谷歌开发者工具定位到其中之一的热词的相应位置复制xpath，粘贴过来，下标修改一下为i，利用循环打印

[html.xpath('//*[@id="topwords"]/li['+str(i)+']/a/text()') for i in range(1,11)]

#方法四：（最简单方法），和法三一样先复制粘贴过来，然后直接去掉那个具体的下标，就得到了方法二

html.xpath('//*[@id="topwords"]/li/a/text()')

 以上就是完整代码，结果截图如下：