Python用lmxl的xpath解析定位元素报错的问题

今天要解析一个网页，能定位到元素，但是用Python解析的时候老报错。记录下解决过程：

目的：

要从网页上找一个元素，定位到元素后，获取ta。

错误：

能定位到元素，但是代码无法获取对应的值，总是报：sequence item 0: expected str instance, lxml.etree._Element found

下面是解决过程，不想看过程的话，直接翻到底部看结果。

解决过程：

1、源码（报错的版本）：

import faker
import requests
from lxml import etree

fk = faker.Faker()
headers = {'User-Agent': fk.user_agent()}

url = f'https://baike.baidu.com/item/北京大学'
# 发送请求   获取响应
rep = requests.get(url, headers=headers)
# Xpath解析提取数据
html = etree.HTML(rep.text)

text1= ''.join(html.xpath('/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b'))
print(text1)

执行代码，报错，如下：序列项0:应为str实例。

2、但是用xpath定位，是能找到这个元素的啊。那为什么代码会报错呢？

3、查了半天资料，终于发现了点猫腻：
先看下面两句话：

/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b/text()

/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b

4、这两句都能定位到所需要的元素，但是差别就在于最后的这个text()，text（）是xpath的语法，用于获取元素标签文本。
然后，lxml的etree.HTML.xpath方法针对这两个的返回值也不一样，如下：

首先：他们的类型都是一个list

其次：用text（）就可以将数据获取出来。

5、那上边代码报错的原因也就有了：Element类型是’lxml.etree._Element’，某种意义来说，是一个列表。需要使用tag\attrib\text三个不同的属性来获取我们需要的东西

6、我们上边代码报错，就是没使用tag\attrib\text来获取需要的东西。所以改起来也简单，xpath语句中，多加一个text（）方法即可。

修改后的代码：

import faker
import requests
from lxml import etree

fk = faker.Faker()
headers = {'User-Agent': fk.user_agent()}

url = f'https://baike.baidu.com/item/北京大学'
# 发送请求   获取响应
rep = requests.get(url, headers=headers)
# Xpath解析提取数据
html = etree.HTML(rep.text)

text1 = ''.join(html.xpath('/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b/text()'))
# text1 = ''.join(html.xpath('/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b'))
print(text1)

--------------------------------------------------------分割线----------------------------------------------------------------------------------------------------------------

多说一个小知识点：
定位元素的方法：
1、chrome浏览器，按F12进入开发者模式
2、按ctrl+shift+C，然后移动鼠标到想要找的元素上。

3、在开发者工具中，右键选中，点复制—>复制XPath

4、按ctrl+f，查找刚才复制的那个xpath定位到的元素。发现是可以找到的。

5、输入xpath表达式，有黄色部分展示，就说明表达式可以定位到元素。反之，没有颜色标识，就说明表达式有问题，定位不到

写在最后：

这个错误的原因：

Element类型是’lxml.etree._Element’，某种意义来说，是一个列表。需要使用tag\attrib\text三个不同的属性来获取我们需要的东西，而最开始的代码里，没有用text（）获取，所以用join连接字符串的时候就会报错。

解决方法就是：

xpath语句里写上text（）
比如：

right = ''.join(html.xpath('/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b/text()'))
wrong = ''.join(html.xpath('/html/body/div[3]/div[4]/div/div[1]/div[1]/ul[1]/li/div/b'))

感悟：

这是一个小问题，但是也耗费了我大半天的时间。往往查找问题的过程是艰辛的，但是查出来的结果可能是令人哭笑不得的。
如果基础比较好，这个问题可能就不是问题，一眼就看出来了。所以：打好基础非常重要。

与君共勉

这篇文章写的不错，可以学习下：
https://www.ucloud.cn/yun/41149.html