Python爬虫进阶——Xpath解析数据 并 爬取一个IP池

最新推荐文章于 2023-12-09 10:30:00 发布
最新推荐文章于 2023-12-09 10:30:00 发布
阅读量2.7k 收藏 14
点赞数 3
文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46378049/article/details/105214494
版权

前言：

老早以前写过一个用python的request包的爬虫文章，那里面我使用正则表达式去对信息进行筛选，今天我们来学习一种更简便的解析数据、筛选信息的方法，利用Xpath，并且了解了基本语法后，我们来爬取一个IP池。

 

 

 

 

 

Xpath：

XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最初设计是用来搜寻XML文档的，但是它同样适用于 HTML 文档的搜索。它也是是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。因此，对 XPath 的理解是很多高级 XML 应用的基础。

 

一些术语（可以参考XML的知识方便理解）：

1. 在 XPath 中，有七种类型的节点：元素、属性、文本、命名空间、处理指令、注释以及文档节点（或称为根节点）。XML 文档是被作为节点树来对待的。树的根被称为文档节点或者根节点。

2. 基本值（或称原子值，Atomic value）是无父或无子的节点。

3. 项目（Item）是基本值或者节点。

 

 

基本语法：

表达式描述
nodename选择这个节点名的所有子节点
/从当前节点选择直接子节点
//从当前节点选取子孙节点
.选择当前节点
…选取当前节点的父节点
@选取属性

 

实例：

表达式结果

node

选取 node元素的所有子节点。

/node

选取根元素 node。假如路径起始于 / ，则此路径始终代表到某元素的绝对路径，就像Linux里的路径规则。

node/bit

选取属于 node 的子元素的所有 bit 元素。

//node

选取所有 node 子元素，而不管它们在文档中的位置。

node//bit

选择属于 node 元素的后代的所有 bit 元素，而不管它们位于 node 之下的什么位置。

//@lang

选取名为 lang 的所有属性。

 

谓语（Predicates）

谓语用来查找某个特定的节点或者包含某个指定的值的节点。

谓语被嵌在方括号中。

表达式结果

/bookstore/book[1]

选取属于 bookstore 子元素的第一个 book 元素。

/bookstore/book[last()]

选取属于 bookstore 子元素的最后一个 book 元素。

/bookstore/book[last()-1]

选取属于 bookstore 子元素的倒数第二个 book 元素。

/bookstore/book[position()<3]

选取最前面的两个属于 bookstore 元素的子元素的 book 元素。

//title[@lang]

选取所有拥有名为 lang 的属性的 title 元素。

//title[@lang=’eng’]

选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

/bookstore/book[price>35.00]

选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。

/bookstore/book[price>35.00]/title

选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

这里感谢这位兄台总结的表——https://cuiqingcai.com/2621.html

 

 

上手操作：

标签补全：

首先我们在Pycharm的终端运行命令来安装lxml，这里为了学习Xpath先安装lxml

pip3 install lxml

我们可以先来简单的小试牛刀

#在你的模块里导入指定的模块属性
from lxml import  html
etree=html.etree
text='''
<html>
<head>
    <title>ISHASH.COM</title>
</head>
    <body>     
    <div>
        <ul>
             <li class="item-0"><a href="https://is-hash.com">first item</a></li>
         </ul>
     </div>
'''
html=etree.HTML(text)
result=etree.tostring(html)
print(result.decode('UTF-8'))

输出：

<html>
<head>
    <title>ISHASH.COM</title>
</head>
    <body>     
    <div>
        <ul>
             <li class="item-0"><a href="https://is-hash.com">first item</a></li>
         </ul>
     </div>
</body></html>

注解：

上面的 etree.HTML() 是将字符串解析为html文档并对HTML文本进行自动修正。

而后面的 etree.tostring() 输出修正后的结果，类型是bytes。

另外上面的道理读取html文件也是可以的：

#在你的模块里导入指定的模块属性
from lxml import  html
etree=html.etree
html=etree.parse('./test.html',etree.HTMLParser())
result=etree.tostring(html)
print(result.decode('UTF-8'))

获取所有节点：

//test.html
<!DOCTYPE html>
<html>
<head>
    <title>ISHASH.COM</title>
</head>
    <div>
        <ul>
             <li class="item-0"><a href="https://is-hash.com">first item</a></li>
            <li class="item-1"><a href="https://baidu.com">second item</a></li>
         </ul>
     </div>
    <table>
        <tbody>
        <tr>
            <td>Look at me!</td>
            <td>Or kill me!</td>
        </tr>
        </tbody>
    </table>
</body></html>


//main.py
#在你的模块里导入指定的模块属性
from lxml import  html
etree=html.etree
html=etree.parse('./test.html',etree.HTMLParser())
#'//'表示获取当前节点的子孙节点，'*'表示通配符
#合起来则是获取当前节点的所有节点，返回值是个列表
result=html.xpath('//*')
for item in result:
    print(item)


//输出
<Element html at 0x2892284b748>
<Element head at 0x2892285e9c8>
<Element title at 0x2892285ef88>
<Element body at 0x2892286a108>
<Element div at 0x28922b9ba48>
<Element ul at 0x28922b9bac8>
<Element li at 0x28922b9bb08>
<Element a at 0x28922b9bb48>
<Element li at 0x28922b9bb88>
<Element a at 0x28922b9ba88>
<Element table at 0x28922b9bbc8>
<Element tbody at 0x28922b9bc08>
<Element tr at 0x28922b9bc48>
<Element td at 0x28922b9bc88>
<Element td at 0x28922b9bcc8>

如果想要获得所有tbody的节点，只要修改上面的xpath即可：

result=html.xpath('//tbody')

获取所有子节点

还是在上面程序的基础上进行修改，修改xpath里的匹配规则

比如我想要获得tbody节点下的tr的直接子节点

result=html.xpath('//tbody/tr')

如果是所有子孙的tr节点：

result=html.xpath('//tbody//tr')

根据属性获取

结合上面说的，加一个谓语即可

result=html.xpath('//li[@class="item-0"]')

如上所示，获取所有 li节点 且要求具有属性 class=”item-0″

 

获取父节点

利用 .. 即可往上翻一层

例如获取tr的父节点

result=html.xpath('//tr/..')

也可以用 节点轴——parent::* 来获取父节点

result=html.xpath('//tr/parent::*')

◊获取文本信息

其实更常用的操作还是获取文本信息

我们用 XPath 中的 text() 方法可以获取节点中的文本

例如上面的html文件中，有两个td节点，里面分别有一些字符串，我们现在来获取他们

result=html.xpath('//td/text()')
输出：
Look at me!
Or kill me!

另外，有的时候我们可以直接用 // 加 text() 的方式获取，这样可以爬到最全面的文本信息，但是可能会夹杂一些换行符等特殊字符。所以还是定位的越细致越好。

 

属性获取

获取li节点的属性

result=html.xpath('//li/@class')

 

属性多值获取

例如上面的html文件中有这样的一句

<li class="sp item-0"><a href="https://is-hash.com">first item</a></li>

我们要经过 li 节点去获取内部的 first item 文本

这时就可以用到 contains() 函数了

result=html.xpath('//li[contains(@class,"sp")]//text()')

这样只要li节点还有属性 class，且属性有值sp即可被匹配

 

多属性获取

当一个节点有多个属性

<li class="sp item-0" name="item"><a href="https://is-hash.com">first item</a></li>

利用Xpath的运算符即可：

result=html.xpath('//li[contains(@class,"sp") and @name="item"]//text()')

下面是Xpath的常见运算符

运算符描述实例返回值
|计算两个节点集//book | //cd返回所有拥有 book 和 cd 元素的节点集
+加法6 + 410
–减法6 – 42
*乘法6 * 424
div除法8 div 42
=等于price=9.80如果 price 是 9.80，则返回 true。

 

如果 price 是 9.90，则返回 false。

!=不等于price!=9.80如果 price 是 9.90，则返回 true。

 

如果 price 是 9.80，则返回 false。

<小于price<9.80如果 price 是 9.00，则返回 true。

 

如果 price 是 9.90，则返回 false。

<=小于或等于price<=9.80如果 price 是 9.00，则返回 true。

 

如果 price 是 9.90，则返回 false。

>大于price>9.80如果 price 是 9.90，则返回 true。

 

如果 price 是 9.80，则返回 false。

>=大于或等于price>=9.80如果 price 是 9.90，则返回 true。

 

如果 price 是 9.70，则返回 false。

or或price=9.80 or price=9.70如果 price 是 9.80，则返回 true。

 

如果 price 是 9.50，则返回 false。

and与price>9.00 and price<9.90如果 price 是 9.80，则返回 true。

 

如果 price 是 8.50，则返回 false。

mod计算除法的余数5 mod 21

感谢w3school运算符

 

插曲：

基本语法就先记录到这里了，感谢这位CSDN的带翅膀的猫

另外这个谷歌插件也是很不错——XPath Helper
按住shift选择我们需要的内容，自动生成匹配规则

或者更简单的，在审查元素里找到你要的资源右击，选择Copy，就可以直接copy这个节点的xpath

 

爬取IP池：

下面的例子仅供参考

我们找到一个免费ip代理网站，这个其实还蛮好找的

我们先来确定网页是静态网页还是动态：如果是静态，那网页源代码里的数据就是呈现给你的数据，即网页的任何数据都是在源代码中可以找到的，它的url地址对应的就是导航栏中的地址。

我们这个网站是个静态网站，好，我直接把url记录到python代码中

在网页中我们在审查元素的network里（刷新一下）得到UA头，来伪造我们的爬虫是浏览器

import request;

base_url="https://www.马赛克.com/free/inha/1/";
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}

接下来我们使用requests模块的get去发送请求

response=requests.get(base_url,headers=headers)
#接收数据
data=response.text
data.encode("UTF-8")
print(data)

一般没问题的就会发现它成功把网页源代码打印了出来

好，现在咱们就要利用Xpath去解析数据，把需要的数据筛出来，首先我们先安装parsel库

pip install parsel or easy_install parsel（python -m pip install --upgrade ）

然后在代码中导入

import parsel

对于该网站的html中，我们需要的数据就是 IP、IP端口、协议类型 ，这三个字段

最后我们要弄成这样{“协议类型”:”IP:IP端口”}

每一个IP信息在审查元素中都是这样：

故，利用这样的Xpath即可得到每个tr标签内的信息

#将data数据转换成一个selector对象
html_data=parsel.Selector(data)

XpathSelect='//table[@class="table table-bordered table-striped"]/tbody/tr'
parse_list=html_data.xpath(XpathSelect)

此时，parse_list就是一个列表，我们再用for循环遍历，将每一个代理IP作为一个字典存到一个集合中：

#一个空列表用来存储所有的代理IP
proxies_list=[]
for tr in parse_list:
    #代理IP的形式是一个类字典
    proxies_dict={}
    #提取协议类型
    http_type=tr.xpath("./td[4]/text()").extract_first()
    IP = tr.xpath("./td[1]/text()").extract_first()
    IP_Port = tr.xpath("./td[2]/text()").extract_first()
    #将数据加入字典
    proxies_dict[http_type]=IP+":"+IP_Port
    proxies_list.append(proxies_dict)

好了，这一页的代理IP就全被我们采集了：

import requests
import parsel

base_url="https://www.马赛克.com/free/inha/1/";
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}

response=requests.get(base_url,headers=headers)
#接收数据
data=response.text
data.encode("UTF-8")

#解析数据
#将data数据转换成一个selector对象
html_data=parsel.Selector(data)

XpathSelect='//table[@class="table table-bordered table-striped"]/tbody/tr'
parse_list=html_data.xpath(XpathSelect)

#一个空列表用来存储所有的代理IP
proxies_list=[]
for tr in parse_list:
    #代理IP的形式是一个类字典
    proxies_dict={}
    #提取协议类型
    http_type=tr.xpath("./td[4]/text()").extract_first()
    IP = tr.xpath("./td[1]/text()").extract_first()
    IP_Port = tr.xpath("./td[2]/text()").extract_first()
    #将数据加入字典
    proxies_dict[http_type]=IP+":"+IP_Port
    proxies_list.append(proxies_dict)
print(proxies_list)
print("获取到的代理IP数量是",len(proxies_list),"个")

那要采集多页呢？我们调动数据之后发现不同的页的区别其实就是在URL中的最后数字的变化，好，我们再做个大循环，将刚才的数据做到循环里面：

import requests
import parsel
import time

# 一个空列表用来存储所有的代理IP
proxies_list = []
for page in range(1,5):

    #用{}预留一个接口，通过.format将页数进行传递
    base_url="https://www.马赛克.com/free/inha/{}/".format(page)
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}

    response=requests.get(base_url,headers=headers)
    #接收数据
    data=response.text
    data.encode("UTF-8")

    #解析数据
    #将data数据转换成一个selector对象
    html_data=parsel.Selector(data)

    XpathSelect='//table[@class="table table-bordered table-striped"]/tbody/tr'
    parse_list=html_data.xpath(XpathSelect)
    for tr in parse_list:
        #代理IP的形式是一个类字典
        proxies_dict={}
        #提取协议类型
        http_type=tr.xpath("./td[4]/text()").extract_first()
        IP = tr.xpath("./td[1]/text()").extract_first()
        IP_Port = tr.xpath("./td[2]/text()").extract_first()
        #将数据加入字典
        proxies_dict[http_type]=IP+":"+IP_Port
        proxies_list.append(proxies_dict)
        print(proxies_dict)
        time.sleep(0.5)
print("获取到的代理IP数量是",len(proxies_list),"个")

最后输出：

......
......
{'HTTP': '58.253.153.221:9999'}
{'HTTP': '122.192.39.239:8118'}
{'HTTP': '115.218.215.101:9000'}
{'HTTP': '183.166.20.211:9999'}
{'HTTP': '163.204.244.7:9999'}
{'HTTP': '163.204.240.10:9999'}
{'HTTP': '117.95.232.210:9999'}
获取到的代理IP数量是 60 个

好，接下来我们来对 proxies_list 进行筛选高质量的IP

再定义一个方法：

#定义一个检测爬取到的IP的质量的方法
def check_IP(proxies_list):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
    #定义一个列表来选出高质量的ip
    can_use=[]
    #使用代理IP访问服务器从而检查IP质量
    for proxy in proxies_list:
        try:
            #使用代理IP访问某站并要求0.1秒内给出响应（若超过0.1秒则会异常报错）
            response=requests.get('https://baidu.com',headers=headers,proxies=proxy,timeout=0.1)
            #高质量的代理IP
            if response.status_code==200:
                    can_use.append(proxy)
        except Exception as e:
            print(e)
    return can_use

最后全部的代码如下：

import requests
import parsel
import time

#定义一个检测爬取到的IP的质量的方法
def check_IP(proxies_list):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}
    #定义一个列表来选出高质量的ip
    can_use=[]
    #使用代理IP访问服务器从而检查IP质量
    for proxy in proxies_list:
        try:
            #使用代理IP访问某站并要求0.1秒内给出响应（若超过0.1秒则会异常报错）
            response=requests.get('https://baidu.com',headers=headers,proxies=proxy,timeout=0.1)
            #高质量的代理IP
            if response.status_code==200:
                    can_use.append(proxy)
        except Exception as e:
            print(e)
    return can_use


# 一个空列表用来存储所有的代理IP
proxies_list = []
for page in range(1,5):

    #用{}预留一个接口，通过.format将页数进行传递
    base_url="https://www.马赛克.com/free/inha/{}/".format(page)
    headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'}

    response=requests.get(base_url,headers=headers)
    #接收数据
    data=response.text
    data.encode("UTF-8")

    #解析数据
    #将data数据转换成一个selector对象
    html_data=parsel.Selector(data)

    XpathSelect='//table[@class="table table-bordered table-striped"]/tbody/tr'
    parse_list=html_data.xpath(XpathSelect)
    for tr in parse_list:
        #代理IP的形式是一个类字典
        proxies_dict={}
        #提取协议类型
        http_type=tr.xpath("./td[4]/text()").extract_first()
        IP = tr.xpath("./td[1]/text()").extract_first()
        IP_Port = tr.xpath("./td[2]/text()").extract_first()
        #将数据加入字典
        proxies_dict[http_type]=IP+":"+IP_Port
        proxies_list.append(proxies_dict)
        print(proxies_dict)
        time.sleep(0.5)

print("获取到的代理IP数量是",len(proxies_list),"个")
#检测代理IP可用性
can_use=check_IP(proxies_list)
print("能用的IP数量",len(can_use))

 

不错吧，一共60个IP，56个质量不错，

爬取到的数据可以存放到数据库中，例如MongoDB数据库（非关系型数据库，无需建字段）

好了，IP池就搭建完成

 

 

 

 

 

博客：is-hash.com

商业转载 请联系作者获得授权，非商业转载 请标明出处，谢谢

 

轻舟在过
关注
Python教程：一文了解使用Python处理XPath
复现的博客
08-13 966
XPath（XML Path Language）是一种用于在 XML 文档中查找信息的语言。它特别适用于解析和提取 XML 数据，而在 Python 中，我们可以使用 lxml 库来处理 XPath。本文将从基础知识开始，逐步深入，结合实战示例，让你能够熟练掌握 Python 中的 XPath。
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
通过以上功能，这段代码实现了从美食网站爬取数据，并进行数据处理、存储到CSV文件和可视化数据的功能。用户可以通过这段代码快速获取美食网站的数据，进行数据分析和可视化显示人气排名前10的菜品。
python爬取网站数据（含代码和讲解）
m0_59235508的博客
12-09 1487
python爬取网站数据（含代码和讲解）
XPath详解
顺其自然~专栏
03-04 4606
简介 XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快地被开发者采用来当作小型查询语言。 语法 选取节点 XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。 下面列出了最有用的路径表达式： 表达式
数据解析之Xpath解析（超详细定位）
ChatYU的博客
09-21 1万+
XPath（XML Path Language）是一种XML的查询语言，他能在XML树状结构中寻找节点。XPath 用于在 XML 文档中通过元素和属性进行导航xml是一种标记语法的文本格式，xpath可以方便的定位xml中的元素和其中的属性值。lxml是python中的一个第三方模块，它包含了将html文本转成xml对象，和对对象执行xpath的功能表达式说明举例从根节点开始选取//从任意节点开始选取//input选取当前节点..选取当前节点的父节点//input/..
XPath解析
Liu_Bruce的博客
02-04 2321
XPath解析 XPath 概述 XPath是 XML路径语言，全名为“XML Path Language“，是一门可以在XML文件中查找信息的语言。不仅可以实现XML文件的搜索，还可以在HTML文件中进行搜索。XPath常用路径表达式： XPath常用路径表达式及描述 表 达 式 描 述 nodename 选取此节点的所有子节点 / 从当前节点选取子节点 // 从当前节点选取子孙节点 . 选取当前节点 … 选取当前节点的父节点 @ 选取属性 * 选取所有节点
学会XPath，轻松抓取网页数据
SunshineGGB的博客
11-30 767
学会XPath，可以轻松抓取网页数据，提高数据获取效率。本文介绍了XPath的定义、基础语法、使用示例、高级用法、.NET中使用举例以及在自动化测试中的应用场景，同时也讨论了XPath的优势与不足。希望本文能够帮助读者更好地理解和掌握XPath的使用方法。
【Python学习】xpath解析
u014643814的博客
10-07 1695
XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。xpath解析原理：环境安装 如何实例化一个etree对象 将本地的HTML文档中的数据加载到该对象中：(解析本地本件第二个参数最好加上，不然可能报错) 可以将互联网上获取的源码数据加载到该对象中 xpath语法 下面列出了最常用的表达式实例 路径表达式 解释 bookstore 选择bookstore元素。 /b
Python爬虫爬取、解析数据操作示例
09-17
综上所述，Python爬虫是一个包含网络请求、HTML解析和数据存储等步骤的过程。在编写爬虫时，应选择合适的解析工具，注意遵守法律法规，并合理处理可能出现的异常情况。通过这个示例，你可以学习到如何结合不同的...
Python爬虫进阶 JS 解密逆向实战.zip
最新发布
03-23
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
【图文详解】python爬虫实战——5分钟做个图片自动下载器.zip
03-01
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
Xpath获取Table+遍历tr
一只不知疲倦的学习猿
10-23 393
Xpath获取Table+遍历tr
用xpath来爬取网页
叒枅的博客
09-09 4264
标题常见爬取网页时，提取数据的方法有xpath，正则提取，对于json数据使用功能jsonpath进行提取，在scrapy使用css进行提取。 标题在这众多提取方法中这次使用xpath进行模拟我们所面对的数据，进行一般和特殊的数据提取。 网址：https://www.xiazaiba.com/android/app/ 文章以该网站进行xpath提取数据。 一、对于简单的数据来说，可以直接通过检查网页源码，之后进行copy其xpath的路径（提示：7、8成网页可以这样直接提取到） 第一步：鼠标右键，检查网页
xpath解析
zmj11_的博客
04-25 3755
xpath解析是我们最经常应用的数据解析方式，我们今天就来介绍xpath解析。 xpath解析 进行xpath解析大致分为以下几个步骤： 1.导入lxml库，导入etree模块 2.实例化etree对象tree 3.数据解析 4.保存爬取到的数据 1.引入etree模块 在这里，我学习的视频里面导入etree模块是直接从lxml库中导入的，但是好像py3以后就不能直接从lxml库中导入etree了，需要先从lxml中导入html库，利用html导入etree具体代码如下： from lxml import
爬虫学习4——Xpath爬取网页信息
qq_57099024的博客
02-23 3371
xpath是在XML文档中搜索内容的一门语言，我们常见的html是xml的一个子集 目录 安装lxml模块 获取网页数据 text()拿文本 。xpath使用[1]选择同种标签的第一个。/a[@href='']根据属性href的值选择特定标签 //表示后代（子标签，孙子标签，重孙子标签）。*表示任意的节点，通配符。使用@拿到属性值 ./表示当前节点 安装lxml模块 pip install lxml 获取网页数据 text()拿文本 。xpath使用[1]选择同种标签的第一个。/a
xpath解析网页中tbody问题
小猪佩奇工作室
07-25 1万+
在爬取网页中表格数据时使用xpath解析会出现的问题
XPath详解教程
热门推荐
PY洋洋
01-14 2万+
目录 1. XPath 概览 2. XPath 常用规则 3. 准备工作 4.实例引入 5.所有节点 6. 子节点 7.父节点 8.属性匹配 9.文本获取 10.属性获取 11.属性多值匹配 12. 多属性匹配 13.按序选择 14. 节点轴选择 结语
Python爬虫利用xpath爬取页面信息方法
qq_38966550的博客
11-02 933
XPath是一种在XML文档中进行导航和选择的语言，它可以用来定位HTML页面中的元素并提取数据。
Python爬虫学习：XPath解析HTML实战——好段子爬取
"学习爬虫，理解XPath，以及在HTML中解析数据的方法，通过实例操作讲解XPath的常用路径表达式，并介绍如何在浏览器中安装XPath插件进行辅助定位。" XPath，全称为XML Path Language，是一种在XML（以及HTML）文档中...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

轻舟在过

您的支持是我创作的最大动力~

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值