xpath学习（一）

最新推荐文章于 2024-10-13 12:40:16 发布
最新推荐文章于 2024-10-13 12:40:16 发布
阅读量364 收藏 1
点赞数 1
分类专栏： scrapy学习 文章标签： scrapy chrome python shell xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wh01096045/article/details/48214737
版权

照着scrapy文档学习到了scrapy shell 的selector那部分，通过学习，简单的了解了xpath

配合chrome使用，可以很简单的就爬到网页上你需要的内容。

首先，我们需要有一个chrome浏览器，打开我们要爬取数据的网页，按F12，或者右键打开审查元素

这里用我学校贴吧做例子好了

打开之后大概是这个样子，



比如说我们想获取该页所有帖子的标题，

我们先点一下这个放大镜，然后去点一个帖子的标题，


然后下边会自动帮我们找到我们点击这块区域对应的网页源代码


然后我们在选中的区域上右键


然后切换到控制台，ctrl+v粘贴


$x是表明后边我们要要输入xpath表达式，（不小心刷新了一下网页，又重新做了一遍上边的，所以帖子换了）


如果我们只要标题/内容/url，(我不清楚为什么没有，但是我在scrapy shell用sel.xpath()中是有的)


如果选取该页所有的，也不难



半夜不睡觉
关注
专栏目录
Xpath 表达式学习及例子
dayday学习的博客
05-23 984
学习scrapy的使用（二）1.Xpath 表达式 1.Xpath 表达式 效率高，但是功能没有正则表示式强大。一般选择正则表达式。不能解决就用正则表达式。 xpath表达式： / 逐层提取 /html/head/title 实例： text() 提取标签下的文本 /html/head/title/text() //标签名** 提取所有**的标签 //div //标签名[@数学=‘属性值‘] ...
Python爬虫-XPath学习
m0_61796189的博客
08-25 488
虽然XPath代码比正则简单，但是遇到复杂饿节点写起来还是很肥脑子，接下来我们使用谷歌浏览器获取XPath代码，现在我们进入百度首页（https://www.baidu.com），然后右键点击检测按钮即可查看HTML代码，假设要爬取”更多“两字可参考下图操作。常见的还有选取子节点和父节点，参考XPath的基本语法规则修改即可。“//”开头的Xpath规则可以选取所有符合要求的节点，如果使用“//*”则选取整个HTML文档的所有节点，接下来选取html文件中所有的节点以及节点，并输出选取节点的名称。.....
xpath学习
qq_43203949的博客
08-24 9477
xpath学习 parsel包 该包主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配，主要是对XML和HTML等进行分析。 xpath语法 / #根节点或节点间的过渡 // #跨越节点获取节点 . #选取当前节点 .. #当前节点的父节点 @ #选取属性 text() #选取文本 [index] #根据index获取第index个标签（index从1开始） [@Classname] #根据属性名
Xpath学习
天生我才必有用
01-14 411
xpath 简介 xpath 使用路径表达式在xml和html中进行导航 xpath 包含标准函数库 xpath 是一个w3c标准，使用广泛 xpath 节点关系 html> head> meta charset="utf-8" /> meta name="keywords" /> title>xpath 节点关系title> head> body>
xpath学习笔记
Sean的博客
12-12 507
1. Chrome插件xpath helper可以辅助查看xpath 2. //从当前匹配的节点中选择 3. //book[1]  第一个book元素 //book[last()-1] 倒数第二个book元素 //book[position() 4. //a[@id] 拥有id属性的a元素 //a[@id="next" and @class="bank"] id属性为next并且cla
python爬虫XPath学习
qq_37402588的博客
08-14 473
XPath简介和基本使用 1.前言 之前爬虫的时候没有用过XPath，就是没用过lxml这个包，遇到json格式网页我用的json.loads(),html格式用的BeautifulSoup里面有find和find_all函数查找标签之类的。但是XPath在爬虫里面也算一个比较重要的工具，当然要学习啦。 2.过程 找到了一个不错的教程，python爬虫之xpath的基本使用，挺全的，现在收藏一下，...
XPath学习
ningz107的博客
04-03 476
1. 什么是XPath 解析XML的一种语言（HTML是XML的子级），广泛用于解析HTML数据。 几乎所有的语言都能使用XPath，如Java和C语言。 除了XPath还有其他手段解析XML，比如BeautifulSoup（py），lxml（py），DOM（java，js），SAX（java），JSDOM（js），DOM4J，minixml等。 2. 为啥使用XPath 元素没有id，name，class等明显或者唯一属性。 元素id是动态的（刷新以后会变化）。 通过元素定位工具抓取不到。 复制的X
Xpath学习心得
Aileen的专栏
05-10 1461
本周开始正真接触Xpath，为了能更好的了解它，在火狐浏览器下安装了firebug的插件，和谷歌浏览器同时看需要元素对应的xpath。接触下来，各有各的好处吧！我就分别来谈谈我用下来的心得体会。 首先是易查看，火狐比谷歌更容易查看，火狐选择需要看的元素，就实时在firebug那一栏里显示对应的xpath。而谷歌选择需要看的元素后，右键copy xpath，黏贴后才可以看到具体的xpath。没有火
学习笔记 爬虫篇：XPath
q1747366665的博客
06-21 2171
Xpath的优势和语法介绍和实战案例
XPath注入漏洞学习
baynk的博客
04-12 1166
0x00 什么是XPath XPath是W3C的一个标准。它最主要的目的是为了在XML1.0或XML1.1文档节点树中定位节点所设计。 目前有XPath1.0和XPath2.0两个版本。 XPath1.0 Xpath1.0是1999年成为W3C标准，而XPath2.0标准的确立是在2007年。 XPath是一种表达式语言，它的返回值可能是节点，节点集合，原子值，以及节点和原子值的混合等。 Xpat...
xpath应用学习小实验
04-17
在这个“xpath应用学习小实验”中，我们将探讨XPath的基本用法、选择器以及如何在Python中使用它们。 首先，XPath主要通过路径表达式来选取XML或HTML文档中的节点，如元素、属性、文本等。路径表达式分为绝对路径和...
xPath学习教程(全)
12-15
XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 是 W3C XSLT 标准的主要元素，并且 XQuery 和 XPointer 同时被构建于 XPath 表达之上。...内附：dom4j教程(全)一份
【学习 XPath】.pdf
09-13
XPath 教程是一个系统的学习资源，它包括 XPath 简介、XPath 节点、XPath 语法、XPath 轴、XPath 运算符、XPath 函数、XPath 实例等内容。通过学习 XPath 教程，您将掌握 XPath 的基础知识和应用技能。 因此，XPath...
xpath 第一个元素_爬虫学习(5)—XPath
weixin_39622568的博客
11-20 1047
之前我们写了一个简单的爬虫，在提取页面信息时我们使用正则表达式来匹配内容，但是正则表达式的书写比较繁琐，而且一旦错误就可能导致匹配失败。对于网页的节点来说，它可以定义id，class或其他的属性，而且节点之间还有层次关系，在网页中可以通过xpath后css选择器来定位一个或多个节点。那么，我们在解析页面时，利用CSS和XPath选择器来定位节点，再调用相关方法来获取其正文内容或属性。本文介绍X...
国内如何下载谷歌浏览器（chrome浏览器）历史版本和chromedriver驱动，长期更新，建议收藏
程序员徐师兄的博客
10-12 982
众所周知，google是一直被国内屏蔽的，有时候想要下载个chrome浏览器都要去外网，或者到处去搜索才能下载到。因为下载chrome浏览器的这个网址：google.com/chrome/ 在国内是一直被屏蔽掉的。今天主要讲解的是国内ChromeDriver 的下载教程，包括确认浏览器版本、ChromeDriver 驱动的下载，同理，这个教程同样适用于windows版本的，linux 版本的， mac 版本的。
Chromium 中chrome.bookmarks扩展接口c++实现
杰克东的专栏
10-09 1042
总结：扩展通过chrome.bookmarks.get 等方法调用会进入此实现，需要拦截更改可以在此处修改。API 创建、整理以及以其他方式操纵书签。（可用于创建自定义“书签管理器”页面）。二、扩展接口c++定义。
kali chrome 安装 hackbar
最新发布
cuisidong1997的博客
10-13 186
HackBar 是一个用于在 Kali Linux 中快速测试 SQL 注入和 XSS 漏洞的 Chrome 扩展程序。首先，你需要确保你的系统已经安装了 Google Chrome 或 Chromium。访问 HackBar 的 GitHub 页面：https://github.com/Hack-Free/HackBar。点击“加载已解压的扩展程序…在 Chrome 中，访问 chrome://extensions/。安装成功后，你应该能在浏览器顶部看到 HackBar 的图标。
Java利用ChromeDriver插件网页截图（Wondows版+Linux版）
weixin_44873668的博客
10-12 391
chromedriver是谷歌浏览器驱动,用来模拟谷歌运行操作的一个工具，本文主要讲解Java后端利用此插件进行网页截图，并且适配Linux部署。环境准备Wondows服务器或电脑本机需安装Chrome谷歌浏览器，根据本机浏览器版本，下载对应的chromedriver版本，chromedrive插件下载地址：，下载后解压即可。PS：网上看到许多需要配置环境变量的，实测根本不需要。注意：插件版本和本机浏览器版本一定要对应Linux服务器安装Chrome查看版本。
XPath教程：学习XPath语法、函数和应用
XPath运算符是XPath语法中的一种重要元素，XPath运算符用于在XPath表达式中进行运算。XPath节点是XPath语法中的一种重要概念，XPath节点是指XML文档中的元素和属性。 XPath函数是XPath语法中的一种重要元素。XPath...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值