【爬虫必备】安装和使用Xpath、正则表达式插件 以及 F12的抓包流程

最新推荐文章于 2024-03-20 17:15:03 发布
最新推荐文章于 2024-03-20 17:15:03 发布
阅读量2.7k 收藏 27
点赞数 14
分类专栏： Python爬虫 文章标签： 正则表达式 爬虫 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45304503/article/details/120234782
版权

本文以谷歌浏览器为例子，本文只用到了Xpath,正则,爬虫可以有css选择器的插件,可自己操作一下css选择器的下载使用

目录

1. 安装Xpath插件

打开谷歌浏览器这里，打开扩展程序。
在这里插入图片描述
点击这里，进入谷歌插件应用中心

在这里插入图片描述
在这里搜索Xpath

在这里插入图片描述

我自己喜欢用这个，点击进去

在这里插入图片描述
进行安装

在这里插入图片描述
在这里插入图片描述

这样就安装成功了

在这里插入图片描述
点击这个按钮，把xpath固定在输入框的右侧，方便使用的时候调用这个插件。

在这里插入图片描述
这样就安装成功了。

2. 使用Xpath插件

以豆瓣为例子。
在这里插入图片描述
但我们一点击这个插件的时候
在这里插入图片描述

就会弹出这个黑色的xpath语法输入框，这个框左边是你输入的Xpath语法，右边的Xpath语法选择出来的结点数据。
在这里插入图片描述

当清楚好结点的Xpath语句之后，在左侧输入，就会匹配到这个结点数据了。

在这里插入图片描述

浏览器也会高亮提示，你选择的结点数据。并且右侧也会显示选择的结点信息

在这里插入图片描述
大概就是这个用法

3. 安装正则表达式插件

先打开这里
在这里插入图片描述
再打开这里

在这里插入图片描述
搜索正则表达式的插件

在这里插入图片描述
选择这一个插件

在这里插入图片描述
添加到浏览器上

在这里插入图片描述
这样就成功了安装完了~

在这里插入图片描述
然后把这个东西固定到输入栏的右侧，方便使用

在这里插入图片描述

4. 使用正则表达式插件

还是使用正则作为例子
在这里插入图片描述
点击插件，就会弹出这个插件

在这里插入图片描述

匹配所有的数字，和xpath一样，会高亮提示

在这里插入图片描述
简单的使用就是这样了。

但是这个插件有个问题，就是一离开，就会自动收起，很不方便，可以自行下载其他的插件使用，这里i只是做一个列子而已。

另外，大家可以尝试自己安装css选择器的插件

5. F12抓包，CSDN评论为例子

首先随便找一篇博文进行评论的抓取

5.1 Header

打开NetWork找到对应的包，进行分析

在这里插入图片描述
我们可以看到请求的url，http状态码，请求方法之类的

在这里插入图片描述

我们爬虫的话，一般都要用请求头去模拟这个过程，因为这个请求头可以起到一个伪装的作用，让服务器知道这是一个正常的访问而不是一个爬虫访问。所以请求头还是很重要的。

在这里插入图片描述

这个就是传的参数，page就是页数，size就是页面大小。

5.2 Preview

在这里插入图片描述
我们就能看见这个评论信息了。这些就是动态数据。这种不是固定在网页源代码里面的。

就是你右键查看网页源代码就看不到的

在这里插入图片描述
是没有的，所以要用抓包来获取。
在这里插入图片描述

6. F12抓包，B站评论为例子

同样的，我们打开F12，找到这个评论的包。

注意B站这个是一边加载一边渲染的，就是必须滑倒下面有评论的地方，才能有请求的这个包。

比如说这种情况，这种情况是没有看见评论的，所以就是没有这个评论包的，因为根本就没有请求。

在这里插入图片描述
我们要往下拉，知道看到评论，才会慢慢加载出来，这个评论包也会自然而然出现了。就能找到了！

在这里插入图片描述

同样的这种请求的动态数据是在网页源代码里面是看不到的。

在这里插入图片描述

小生凡一
关注
  • 14
    点赞
  • 踩
  • 27
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 7
    评论
专栏目录
python爬虫，爬取10000张高清美图，适合新手进阶，xpath和正则表达式匹配
06-28
python爬虫，爬取10000张高清美图，适合新手进阶，xpath和正则表达式匹配，使用python的库访问，对多个页面，图片的多种类型进行爬取，可以根据自己电脑配置进行线程数量的设置，也可以自己定义爬取的数量，类型以及页面个数，（里面有可执行文件和详细的代码注释）
Chrome xpath插件
10-29
xPath helper是一款Chrome浏览器的开发者插件，安装了xPath helper后就能轻松获取HTML元素的xPath，程序员就再也不需要通过搜索html源代码，定位一些id去找到对应的位置去解析网页了。
xpath中使用正则表达式 及 包含 某 属性值
最新发布
姜枨文的技术博客
03-20 367
xpath id 模糊定位
Chrome正则表达式搜索「Chrome Regex Search」-crx插件
03-20
正则表达式搜索扩展代替Chrome的CTRL + F 在键入时动态突出显示网页上的正则表达式匹配项。使用ENTER和SHIFT + ENTER或单击鼠标中的箭头来循环进行匹配。通过扩展选项自定义突出显示和文本颜色。您将需要刷新任何已经打开的选项卡，以加载内容脚本 2015年10月27日：在选项页面7/13/2016中添加了不区分大小写的搜索选项：为清单7/30/2016添加了“ file：// * / *”扩展名：使用pull request https：// github更新了程序包 com / rogershen / chrome-regex-search / commit / c5ab1bbc33a1ec8ddd254b640b8786cc621e6644 9/2/2016：更新了带有请求请求的程序包https://github.com/rogershen/chrome-regex-search/pull/6此更新将搜索历史添加到了用最右边的按钮显示和隐藏的弹出窗口9/23/2016：将不区分大小写的搜索选项更改为在弹出窗口上的切换1/24/2019：更新了带有两个拉取请求的包，以启用复制命令并自动关注父元素。此扩展是开放源代码：https://github.com/rogershen/chrome-regex-search如果您有任何问题，请向https://github.com/rogershen/chrome-regex-search/issues报告键盘快捷键： ENTER：选择下一个正则表达式匹配SHIFT + ENTER：选择上一个正则表达式匹配要设置键盘快捷键以打开弹出窗口：在浏览器中，转到chrome：// extensions /查找“ Chrome Regex Search”，然后点击相应的框，输入您的自定义命令（即CTRL + SHIFT + F）现在，只要您想打开弹出窗口，只需输入自定义命令即可。右键单击图标并选择“选项”，或转到chrome：// extensions /，然后单击“ Chrome Regex搜索”行中的“选项”，即可找到扩展选项。 支持语言:English (United States)
regextube:Firefox插件，用于使用正则表达式过滤YouTube订阅供稿
04-29
正则表达式 浏览器插件，用于使用正则表达式过滤YouTube订阅供稿 RegexTube是Firefox的附加组件，允许使用遵循正则表达式过滤。 按频道名称和视频标题（黑名单）过滤 倒置滤镜，因此只有不匹配的视频才是显示器（白名单） 轻松启用和禁用过滤器规则 用法 这是允许您输入正则表达式的弹出菜单。 频道和标题都可以是正则表达式。 如果频道和标题均匹配，则视频匹配正则表达式列表中的一行。 选中“反转”复选框只会反转标题表达式，而不会反转channel 。 如果视频与一行或多行匹配，则该视频将被隐藏。 正则表达式的更多示例： 渠道 标题 倒置 评论 foo bar 错误的 会隐藏名称中包含foo任何频道中标题包含bar的每个视频 foo bar 真的 会隐藏与不包含标题每个视频bar任何通道名称中包含foo ^foo$ bar 错误的 将隐藏与含有标题每个视频bar
Regex-Find:Firefox插件。 允许使用正则表达式搜索文本
05-25
正则表达式查找[Firefox插件] 该插件提供了基本的正则表达式搜索功能，但有以下限制： 一些正则表达式控制符号-\ f，\ r，\ n，\ v 默认情况下不搜索动态加载的内容 不支持后向搜索，因为它不是用Javascript实现的 如果您想通过PayPal或使用信用卡进行捐赠： 从v1.2.0开始，有一个新的插件浏览器版本控制： 1.2.0-45-对应于Firefox 45-49版本 1.2.0-50 -Firefox 50-54 1.2.0-55 -Firefox 55-56 1.2.0-57 -Firefox Nighlty 57+ 尖端： 要搜索动态内容（AJAX添加的文本，当隐藏的元素变得可见时），必须重新加载正则表达式搜索（取消选中/选中正则表达式按钮），因此插件将重新扫描页面文本及其所有当前内容。 在Firefox Nightly 57+中，搜索应在非
网页解析工具（XPath与正则表达式）
songwei598的博客
04-07 2834
XPath lxml库 功能 lxml是一个HTML/XML的解析器，主要的功能是如何解析和提取HTML/XML数据 基本使用 利用来解析HTML代码，并在解析时，如果HTML代码不规范，将自动进行补全 from lxml import etree text = ''' <div> hello world </div> ''' html = etree.HTML(text) #返回html对象 #html = etree.parse('hello.html') #从文件读取ht
数据解析-正则表达式与xpath
weixin_48276319的博客
11-24 1723
数据解析-正则表达式与xpath
给大家分享一个很好的前端正则表达式的一个插件
qq_63311682的博客
11-24 465
正则表达式
好用的正则表达式插件
weixin_51341030的博客
12-27 1082
正则表达式，vscode插件
正则 Xpath语法
pc_cp_ccp的博客
09-10 919
正则：正规表达式 用来处理字符串 单字符匹配 . 除换行之外的任意字符 \d 表示数字 \D 匹配非数字 \w 匹配单词字符[a-z,A-Z,0-9] \W 匹配非单词字符 \s 匹配空白字符，空格，\n ,\t \S 匹配非空白字符 ^ 匹配以什么开头 & 匹配以什么结尾 [0-9] 等价于\d 匹配0-9 多字符匹配(贪婪模式) 匹配*前面的字符任意次数（0-无限） 匹配+前面的字符至...
正则表达式和XPATH
08-29
大数据采集，爬取数据必用表达式，精华整理版，你值得拥有
基于xpath选择器、PyQuery、正则表达式的格式清理工具详解
01-19
1，使用xpath清理不必要的标签元素，以及无内容标签 from lxml import etree def xpath_clean(self, text: str, xpath_dict: dict) -> str: ''' xpath 清除不必要的元素 :param text: html_content :param xpath_dict: 清除目标xpath :return: string type html_content ''' remove_by_xpath = xpath_dict if xpath_dict else d
浏览器xpath插件,学习爬虫必备
12-27
浏览器xpath插件, 爬网站信息必备插件
python爬虫之正则，xpath，bs4基础语法
qq_55755280的博客
06-19 594
正则表达式，又称规则表达式（Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个语法规则的字符串，通常被用来检索、替换那些符合某个模式（规则）的文本。—正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。—正则表达式使用单个字符串来描述、匹配一系列匹配某个语法规则的字符串。
谷歌插件Xpath安装以及下载使用
weixin_43693674的博客
12-29 1500
如：/html/body/div/p[1]/input。语法：在Xpath中，所有的属性必须使用@符号修饰 如：//*[@id='id值']2. //*[contains(@属性,'xxx')] # 定位属性包含xxx的元素 【重点】3. //*[starts-with(@属性,'xxx')] # 定位属性以xxx开头的元素。语法：//*[@id="id值" and @属性='属性值']语法：//*[@id='父级id属性值']/input。1. 一般见识使用指定标签名称，不使用*代替，效率比较慢。
Python爬虫：正则表达式学废了？XPath来救！
WANGJUNAIJIAO的博客
02-06 396
从上面的示例你应该知道了，and是xpath的运算符，xpath的运算符也是比较多的，那么接下来对xpath运算符做简单的介绍。
xpath定位元素（F12开发者工具xpath定位、xPath Helper扩展程序xpath定位）
Zhangaihua
03-31 1558
xpath定位元素
Xpath工具Chrome插件之Xpath Helper下载安装与使用（附上安装包）
热门推荐
努力让自己发光，对的人才能迎着光而来
07-07 1万+
Xpath工具Chrome插件之Xpath Helper下载安装与使用（附上安装包）
xpath正则表达式
10-20
XPath和正则表达式都是用于在文本中查找和匹配模式的工具，但它们的使用方式和语法有所不同。XPath是一种在XML文档中搜索内容的语言，它使用路径表达式来选择XML文档中的节点或节点集合。而正则表达式则是一种通用的文本匹配工具，它可以用来匹配任何文本，包括XML文档。正则表达式通常使用特殊字符和语法来描述匹配模式，例如使用"."表示任意字符，使用"*"表示重复任意次数等。在Python中，XPath和正则表达式都可以使用lxml库来解析和处理XML文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小生凡一

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值