【Python从零到壹】使用XPath解析数据爬取起点小说网数据

最新推荐文章于 2024-04-07 17:31:07 发布
最新推荐文章于 2024-04-07 17:31:07 发布
阅读量756 收藏 14
点赞数 22
分类专栏： 2024年程序员学习 文章标签： python 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60388338/article/details/137243915
版权
本文介绍了如何使用XPath解析XML和HTML，特别是在爬取起点小说网数据时的应用。首先，讲述了XPath的基本概念、优点以及安装lxml库的步骤。接着，通过实例演示如何在浏览器中获取书名和作者信息。最后，提供了Python学习路线、资源和面试资料，助力读者提升Python技能。
摘要由CSDN通过智能技术生成
    • 在浏览器中获取书名和作者测试

  • 使用xpath获取起点小说网的数据

1. xpath 的介绍

xpath是一门在XML文档中查找信息的语言

优点：

  • 可以在xml中找信息

  • 支持HTML的查找

  • 可以通过元素和属性进行导航

但是Xpath需要依赖xml的库，所以我们需要去安装lxml的库。

安装lxml库

我们先要安装lxml的库，直接在pycharm里安装即可：

在这里插入图片描述

XML的树形结构：

在这里插入图片描述

根元素-元素-属性-文本

使用XPath选取节点：

  • nodename: 选取此节点的所有节点

  • /从根节点选择

  • // 从匹配选择的当前节点选择文档中的节点，而不考虑他们的

最低0.47元/天 解锁文章
前端88338
关注
  • 22
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
XPath基础
Junds0的博客
03-05 1480
第1关：XPath 路径表达式 1.选取bookstore元素的所有子节点 ********** Begin *********bookstore *********** End ********** 2.选取所有拥有名为 lang 的属性的 title 元素 ********** Begin *********//title[@lang] *********** End ********** 3.选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性和值为good的class属性
爬虫实例：爬取笔趣阁小说（一）
qq_63165470的博客
03-24 1741
运用两种方法进行爬取（其一）。
Python简单爬取起点中文网小说（仅学习）
Sakuyo的弼码温生活
01-24 7065
目录前言一、爬虫思路二、使用步骤1.引入库2.读取页面3.分析HTML3.从标签中取出信息4.爬取正文总结 前言 实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程 本文内容仅用于学习，请勿商用 一、爬虫思路 无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。 二、使用步骤 1.引入库 代码如下（示例）： import requests,sys from bs4 import BeautifulSoup 2.读取页面 代码如下（示例）： targe
爬取小说xpath （某币蛆ge）懂得都懂
qq_25976859的博客
05-24 923
免责声明：本文章涉及到的应用仅供学习交流使用，不得用于任何商业用途，数据来源于互联网公开内容，没有获取任何私有和有权限的信息（个人信息等）。由此引发的任何法律纠纷与本人无关！禁止将本文技术或者本文所关联的Github项目源码用于任何目的。 大部分小说网站都这样（特别是各种笔趣阁） 不懂得块可以百度， 代码仅供参考 目标网站 ：https://www.xxxbiquge.com 2022/5/24 目前还在 需要的工具： pyth.........
使用python爬取小说
热门推荐
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
数据处理：代码使用lxml库对HTML内容进行解析，使用XPath表达式提取美食的名称、人气、评论、发布者和图片等信息。同时，对评论和人气数据进行处理，使用正则表达式匹配并提取出数字内容。 存储到CSV文件：代码在...
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
python 使用xpath/lxml爬取网页表格并存CSV
12-22
0x02 爬取代码 # -*- coding: utf-8 -*-# #------------------------------------------------------------------------------- # Name: test # Author: Negoowen # Date: 2020/3/9 __Author__ = 'Negoo_wen' #-----...
Python爬虫爬取、解析数据操作示例
09-17
在本示例中，我们将探讨如何使用Python进行网页爬取、数据解析以及存储。首先，我们需要了解爬虫的基本流程，包括请求网页、解析HTML内容和存储数据。 1. **请求网页**： 在Python中，`requests`库是我们常用的...
python网络爬虫：实现百度热搜榜前50数据爬取，生成CSV文件
01-20
使用python爬虫：实现百度热搜榜前50数据爬取，生成CSV文件（一）代码（二）结果 爬虫新手，边学边用，尝试着爬取百度热搜榜前50的数据，将数据以CSV文件格式保存下来，并以爬取时间作为文件名保存。 （一）代码 ...
手把手教你用Python网络爬虫实现起点小说下载
这家伙很懒，什么都没有留下
01-22 3467
通过以上步骤，你应该已经能够使用Python网络爬虫实现起点小说的下载。请记住，在使用爬虫时，务必遵守相关法律法规和网站的使用协议。尊重网站的权益和用户的数据，避免对网站的正常运行造成干扰或侵犯他人的隐私。
python爬虫避坑 Xpath的变化
emgbb的博客
05-29 1236
小白python爬虫避坑，浏览器的Xpath不一定靠谱
爬取当当网书名信息
最新发布
m0_68548417的博客
04-07 555
利用当当网高级搜索进行爬取，使用requests模块进行。搜索清华大学出版社出版，和题目中包含“数据采集”的书，仅对搜索结果第一页进行分析，将书名、作者、价格输出到文本文件中。
【爬虫实战】起点中文网排行榜（XPath）
风口IT猪的成长录
06-28 4985
起点中文网-月票榜前言分析HTMLHTML源代码获取解析网页内容输出结果完整代码结果展示后序 前言 保存起点中文网月票榜的排名、书名、作者、链接到 excel 中。 分析HTML 打开 起点中文网 按F12进入开发者模式，点击图片的选中区域，之后可以在网页中定位代码位置。 接着分析 HTML 文档内容，确定要抽取标记的位置。起点月票榜的小说名称在<div class=’book-mid-info’>下的<h4>下的 <a>标记中，作者在<p class=’aut
初学者-Python 网页爬取小说
a7568712的博客
06-27 1万+
找到想看的小说的网站地址→爬取小说所有章节的网站地址→爬取每章小说的标题和内容→把内容保存到TXT文件确定小说的网站地址。python...
[Python实战项目] - xpath 爬虫实战，获取纵横小说网连载小说最新章节（一）
lanhaixuanvv的博客
10-18 3322
本教程可以一键获取连载小说最新章节，只需要运行一下代码，直接打开浏览器看小说未看的最新章节开发环境 Python版本： python3.6 Python第三方库：requests、lxml、webbrowser Pycharm软件版本：pycharm 2017.1.3 电脑系统：Windows 10 64位系统 浏览器： Chrome 59.0.3071.86本文的源码在github上：https:
Python之XPath实现小说爬取
起风了
01-24 6022
XPath介绍 XPath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath节点操作 XPath语法 它使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 下面列出了最有用的路径表达式： 实例 用谓语来查找某个特定的节点或者包含某个指定的值的节点，嵌在方括号中。...
用xpath爬取小说网站
weixin_42106954的博客
02-13 899
本宅女小说是本命，哈哈哈哈哈。 废话少说，上代码。 import requests from lxml import etree url = "http://book.zongheng.com/chapter/914739/59152253.html" headers={ "User-Agent" : "Mozilla/5.0 (Windows NT 6.1; Win64; x64) A...
实战 利用Xpath爬取网页数据
jly58fgjk的博客
05-10 4746
爬取廖雪峰网站不同目录网址里的内容  例如：    步骤分析           1、导入模块                    import  requests                    from  lxml  import  etree           2、获取源代码                    html = requests.get      
如何通过xpath配合python爬取网络数据
06-12
使用 Python 和 XPath 结合来爬取网络数据的一般流程： 1. 发送请求获取 HTML 页面数据； 2. 将 HTML 数据解析成可操作的文档树形结构； 3. 使用 XPath 表达式从文档树中选取需要的数据。 下面是一个简单的例子，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值