Python3爬虫（2）xpath模块代替re正则模块的使用

最新推荐文章于 2022-10-14 11:02:23 发布
最新推荐文章于 2022-10-14 11:02:23 发布
阅读量2.5k 收藏 4
点赞数 1
分类专栏： Python3.5爬虫 文章标签： 爬虫 xpath python3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wizblack/article/details/79793811
版权
本文介绍了Python3爬虫中如何使用XPath替代正则表达式解析HTML，通过一个58同城租房信息爬取的实例，详细阐述了XPath的使用方法和爬取流程，包括获取房源列表、解析房源详情、存储房源信息和图片。
摘要由CSDN通过智能技术生成

前言


最近学习了一下python3.5中爬虫的原理套路！

之前写demo的时候，获取html源码后一直在使用python自带的re模块来用正则表达式匹配数据。

不得不说！正则很强大！(强大的.*?，笑)，各种复杂的情况下都可以匹配的到，但是写法非常灵活，每个人的思维模式不一样，写出来也就不一样，对于没有接触过正则表达的同学来说，学习成本还是需要一写的！


所以今天来说一下对于我这种正则小白的福音！python下提供的一个基于正则的模块，xpath，使用节点的概念来匹配你所获取到的页面源码！超级好用！

[xpath菜鸟教程学习传送门]:点击打开链接


今天用xpath写了一发get 58同城租房信息的demo,下面附上流程和code




A.实现思路


58同城首页->租房->北京出租

首先我们得到的是一个这样的页面




<
最低0.47元/天 解锁文章
wiz_333
关注
专栏目录
Python教程：一文了解使用Python处理XPath
复现的博客
08-13 926
XPath（XML Path Language）是一种用于在 XML 文档中查找信息的语言。它特别适用于解析和提取 XML 数据，而在 Python 中，我们可以使用 lxml 库来处理 XPath。本文将从基础知识开始，逐步深入，结合实战示例，让你能够熟练掌握 Python 中的 XPath。
Python爬虫应用实战案例-xpath正则表达式使用方法，爬取精美壁纸
wenyusuran的专栏
09-30 1314
使用XPath XPath，全称XML Path Language，即XML路径语言，它是在XML语言中查找信息的语言。它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索。 在上一篇文章中讲述了正则表达式的使用方法，正则表达式的难度还是比较大的，如果不花足够多的时间去做的话还是比较难的，所以今天就来分享比正则简单的内容，方便大家接下来的学习。 XPath常用规则 XPath的规则是非常丰富的，本篇文章无法一次性全部概括，只能为大家介绍几个常用的规则。 表达式 描述 node
【Python3 网络爬虫】 解析库的使用 XPath选择器的使用
搬砖者也
05-18 2718
对于网络节点而言，可以定义id 或 class属性 。而且这些节点之间还有层次关系，在网页中可以通过XPath或CSS选择器来定位一个或多个节点。那么，在页面解析的时候，利用XPath或CSS选择器来提取某个节点，然后再调用相应的方法获取它的正文内容或属性，就可以提取我们需要的信息了。在Python中这类解析库已经非常的多了，常用的有lxml、BeautifulSoup、pyquery。有了他们，...
XPath 语法
07-04 552
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。XML 实例文档我们将在下面的例子中使用这个 XML 文档。 Harry Potter 29.99
python3的xpath_python3爬虫之xpath
weixin_39747595的博客
02-09 886
一、简介XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 都构建于 XPath 表达之上。二、安装pip3 install lxml三、使用选取节点常用的路径表达式nodename(表达式、)选取nodename节点的所有子节点 (描述)xpath...
python3 xpath_Python3 【解析库XPath】
weixin_39886619的博客
11-28 228
一.XPath简介对网页的层级关系进行解析,XPath的选择功能十分强大,它提供了非常简洁明了的路径选择表达式。另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有的定位节点，都可以用XPath进行选择。官网: https://www.w3.org/TR/xpath1.XPath常用规则:二.基本的使用from lxml importetreetext...
用python写网络爬虫-使用xpath代替正则表达式
笔记本
08-09 1190
学习使用xpath代替正则表达式，首先得了解xpath语法
本次的7个python爬虫小案例涉及到了re正则、xpath、beautiful soup、selenium等知
最新发布
04-05
import re import time def main(page): url = f'https://tieba.baidu.com/p/7882177660?pn={page}' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like ...
爬虫思路对比：xpath和Re正则表达式区别到底在哪？bs4,requests,urllib,xpath,re这些东西区别在哪？（先看路径表达式）
weixin_69070089的博客
10-14 1394
爬虫思路对比：xpath和Re正则表达式区别到底在哪？bs4,requests,urllib,xpath,re这些东西区别在哪？（先看路径表达式）
python3 xpath和requests应用详解
01-21
根据一个爬取豆瓣电影排名的小应用，来简单使用etree和request库。 etree使用xpath语法。 import requests import ssl from lxml import etree ssl._create_default_https_context = ssl._create_unverified_context session = requests.Session() for id in range(0, 251, 25): URL = 'https://movie.douban.com/top250/?start=' + str(id) req = sess
python3 xpath_python爬虫入门（三）XPATH和BeautifulSoup4
weixin_39874881的博客
11-28 241
XML和XPATH用正则处理HTML文档很麻烦，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。XML 指可扩展标记语言（EXtensible Markup Language）XML 是一种标记语言，很类似 HTMLXML 的设计宗旨是传输数据，而非显示数据XML 的标签需要我们自行定义。XML 被设计为具有自我描述性。XML 是 W3C 的推荐标准...
Python3----xpath
夏天
06-14 509
# xpath 跟re, bs4, pyquery一样, 都是数据提取方法. 根据元素的路径查找页面元素 # pip install from lxml import etree html = """ &lt;div id='content'&gt; &lt;ul class='list'&gt; &lt;li class='one'&gt;One...
Python3~xpath
zbrj12345的博客
05-13 735
from lxml import etree from urllib import request import ssl ssl._create_default_https_context=ssl._create_unverified_context html=''' &lt;bookstore&gt; &lt;title&gt;新华书店&lt;/title&gt; &lt;bo...
python爬虫之xpath模块
hanqianglj的博客
05-04 899
#拿到页面源代码 #提取和解析数据 import requests from lxml import etree url = "https://beijing.zbj.com/search/f/?kw=saas" resp = requests.get(url) resp.close() # print(resp.text) #解析 html = etree.HTML(resp.text) #拿到每一个服务商的div divs = html.xpath("/html/body/div[6]/div/d
Python 3网络爬虫之XPath用法
种一棵树，最好的结果是十年前，其次是现在！
08-19 647
代码摘抄之《Python 3网络爬虫开发实战》
python3的xpath_Python3.x简单XPath库
weixin_35700754的博客
03-01 91
现在发现问题了。在我的XML响应包含以下内容： boolean OrderArrayType OrderType AmountType (double) AmountType (double) AmountType (double) string UserIDType (string) CheckoutStatusType...解析XML后：^{pr2}$它返回每个前缀为{urn:eb...
Python爬虫教程：免费资源与正则表达式解析
"该资源为Python爬虫相关的学习资料，提供了免费下载，涵盖了Python爬虫实战、第三方库的使用以及正则表达式的基础知识。" Python爬虫是数据挖掘和自动化网页信息抓取的重要工具，它允许开发者通过编写程序来自动化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值