用XPath提取捧腹网笑话文本

最新推荐文章于 2022-09-25 12:56:30 发布
最新推荐文章于 2022-09-25 12:56:30 发布
阅读量428 收藏
点赞数
文章标签： XPath 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Cayny/article/details/81396633
版权
这篇博客记录了如何使用XPath基本语法来提取捧腹网笑话文本。通过F12开发者工具抓包，结合XPath Heaper进行筛选，逐步排除不需要的元素，如用户名称和打赏等信息，最终实现对笑话文本的精准提取。
摘要由CSDN通过智能技术生成

记录XPath基本语法，使用一些简单的XPath语法提取文本

基本语法
  • 获取文本/text()
    • a/text()获取a标签下的文本
    • a//text()获取a标签下的所有标签的文本
    • //a[text()]='下一页>'获取包含“下一页”文本的a标签
  • /@
    • 获取属性/@属性名
    • 筛选属性//标签[@属性名]
  • //
    • 在xpath开始的时候表示从当前html中任意位置开始选择
    • a//b表示a标签下的任意b标签
  • |
    • 或语法，多个条件一起
开始
  • F12开发者模式抓包段子，发现<dl>标签为所选段子文本内容；
  • 在XPath Heaper中输入//dl发现右上角红框都选取了；
    这里写图片描述
最低0.47元/天 解锁文章
水蓝的蓝
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
python爬虫实战-爬取笑话大全并保存至本地（xpath）
hoochon的博客
02-23 1270
python爬虫实战-爬取笑话大全并保存至本地（xpath） import urllib.parse import urllib.request from lxml import etree import time import json item_list=[] def handle_request(url,page): headers={ 'User-Agent':'Mozilla/5...
爬虫抓取中关村笑话网站 -- python
weixin_43164781的博客
12-04 381
先上代码 import _thread import time import requests from lxml import etree heads = {} heads['User-Agent'] = 'Mozilla/5.0 ' \ '(Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 ' \ '(KHTML, like
用lxml的xpath演示爬虫提取笑话集网页其中的标题，url，浏览数，日期，笑话内容
何必说
07-19 491
人狠话不多，直接上源码 from urllib import request,parse from urllib import error import chardet from lxml import etree import csv,string def jokeji(url,beginPage, endPage): for page in range(beginPage, e...
golang实现捧腹网爬取笑话
Zephyr的博客
03-27 210
爬虫的步骤见：here 以下golang代码实现对捧腹网笑话的爬取，并保存到本地的joy文件夹（程序会自行创建）内 package main import ( "fmt" "net/http" "os" "regexp" "strconv" ) func HttpGet(url string) (result string, err error) { resp, err1 := h...
python搞笑教程_python爬虫- 爬取幽默笑话网站，带你一起笑翻天
weixin_39771791的博客
12-05 191
importrequestsimportthreadpoolimporttimeimportos,sysimportrefrom lxml importetreefrom lxml.html importtostringclassScrapDemo():next_page_url="" #下一页的URLpage_num=1 #当前页detail_url_list=0 #详情页面URL地址list...
利用xpath提取标签下所有文本
01-08
利用xpath提取标签下所有文本html 样式xpath提取方式 html 样式 该网页源代码是微博的一部分，我们需要提取博文，但发现 标签下文本被分割开，这种情况应当如何处理 c 投诉 一Z_c一 忌甜忌辣忌油...
如何使用XPath提取xml文档数据
08-25
* 提取第二本书和第三本书的author元素的文本值：使用XPath表达式"/bookshelf/book[position()>1]/author"可以快速地提取第二本书和第三本书的author元素的文本值。 * 提取含有属性id的所有name元素的文本值：使用...
对Xpath 获取子标签下所有文本的方法详解
09-19
本文将深入探讨如何使用XPath来获取子标签下的所有文本内容。 在XML或HTML结构中，一个元素可能包含多个子元素，每个子元素又可能有各自的文本内容。有时，我们可能需要提取某个父元素下所有子元素的文本，而不仅仅...
PHP xpath提取网页数据内容代码解析
10-15
主要介绍了PHP xpath提取网页数据内容代码解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
xpath提取当当网数学书前十页信息
01-20
这些书都在一个个的li标签里，先获取所有的li，再分别对每一个li进行xpath提取，可以避免要提取的字段是空最后数据错位的情况 第二页 http://category.dangdang.com/pg2-cp01.03.51.00.00.00.html 第三页 ...
xpath helper插件
06-24
用于网站检查代码，可以输入标签和一些属性查看，也可以用这个生成xpath命令
Chrome安装爬虫必备插件：Xpath Helper高效解析网页内容（实测有效）
风口IT猪的成长录
08-18 9645
Chrome安装爬虫必备插件：Xpath Helper（最新教程）1. 谷歌浏览器xpath helper插件的安装和使用2. 谷歌浏览器xpath helper插件的作用3. 谷歌浏览器xpath helper插件的安装和使用3.1 xpath helper插件的安装4. XPath调试5. 附加内容 1. 谷歌浏览器xpath helper插件的安装和使用 要想利用lxml模块提取数据，需要我们掌握xpath语法规则。接下来我们就来了解一下xpath helper插件，它可以帮助我们练习xpath语法，
【0基础】教你使用Xpath方式提取网页信息
m0_57376367的博客
09-25 2376
xpath是一套用于解析XML/HTML的语法，它使用路径表达式来选取XML/HTML中的节点或节点集。Xpath常用语法和实例如下表所示xpath使用的第三方库为lxml#1.导入etree类#2.使用html生成etree类对象#3.提取页面目标元素xpath()XPATH语法如下所示路径表达式：谓语什么是谓语？谓语用来查找某个特定节点或者包含某个指定节点，位于被镶嵌在方括号中。
xpath语法
sinat_38686874的博客
03-13 148
xpath学习重点 1 获取文本 -'a/text()' 获取a下的文本 -'a//text()' 获取a下的所有标签文本 -'//a[text()='下一页']' 选择文本为下一页三个字的a标签 2 @符号 -'a/@href' 获取属性 -'//ul[@id="detail-list"]' 元素定位 3 '//' -在xpath开始的时候表示从当前ht...
Xpath Helper的安装和使用
ccc369639963的博客
03-11 2091
Xpath Helper的安装和使用 为了帮助大家快速掌握 Xpath 表达式的使用，这里给大家推荐一款 Xpath 表达式匹配助软件，它就是 Xpath Helper。 Xpath Helper介绍 Xpath Helper 是一款谷歌应用商店推出的免费工具，因此您需要在谷歌商店进行下载。下载完毕后，谷歌浏览器会将其作为插件自动安装在扩展程序中，如下所示： 图 1：Xpath Helper助手 点击扩展程序入口，进入管理扩展程序界面，如下图所示： 图 2：Chrome浏览器插件管理界面 您也可以通过以
数据提取方法
no_found的博客
02-23 508
html和xml的区别 html（超文本标记语言），用来显示数据 xml（可扩展标记语言），用来传输和存储数据 xpath语法 // 的用途 //a当前html页面上的所有的a bookstore//bookbookstore下的所有book元素 @的使用 //a/@herf所有a的href text()的使用 //a/text()获取所有的a下的文本 text()的使用 //a/text()获取所有的a下的文本 //a[text()=下一页]获取文本为下一页的a标签
lxml类库的xpath的使用
weixin_30752699的博客
01-18 204
为什么要学习lxml类库和xpath呢？ -lxml类库是一款高性能的Python HTML/XML解析器，我们可以利用XPath， 来快速地定位特定元素以及获取节点信息。 -XPath是一门在HTML/XML文档中查找信息的语言，可用来在HTML/XML文档中对元素和属性进行遍历。 XML和HTML的区别？ -XML：可扩展标记语言，被设计为传输和存储数据，其焦点是数据的...
Android实战：手把手实现“捧腹网”APP（一）-----捧腹网网页分析、数据获取
weixin_30725467的博客
09-16 111
Android实战：手把手实现“捧腹网”APP（一）—–捧腹网网页分析、数据获取 Android实战：手把手实现“捧腹网”APP（二）—–捧腹APP原型设计、实现框架选取 Android实战：手把手实现“捧腹网”APP（三）—–UI实现，逻辑实现 “捧腹网”页面结构分析 捧腹网M站地址: http://m.pengfu.com/ 捧腹网M站部分截图： 从...
xpath提取不到文本
最新发布
06-02
如果你使用 XPath 提取不到文本，可能是因为以下原因： 1. XPath 表达式有误。请检查你的 XPath 表达式是否正确，是否符合 XML 或 HTML 的语法规范。 2. 页面中的元素是通过 JavaScript 动态加载的。如果页面中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值