【Python从零到壹】使用XPath解析数据爬取起点小说网数据

最新推荐文章于 2024-06-25 22:03:09 发布
最新推荐文章于 2024-06-25 22:03:09 发布
阅读量7.4k 收藏 56
点赞数 39
分类专栏： # Python从零到壹 文章标签： xpath
本文为互联网老辛原创文章，未经博主允许不得转载
本文链接：https://blog.csdn.net/xinshuzhan/article/details/115500941
版权
本文介绍了XPath的基本概念，包括其在XML和HTML中的应用，以及如何利用XPath在Python中通过lxml库解析数据。教程通过实例展示了如何在起点小说网抓取书名和作者信息，帮助读者掌握XPath的选取节点表达式。
摘要由CSDN通过智能技术生成

我们已经可以从网上爬取数据了，现在我们来看看如何对数据解析

文章目录

1. xpath 的介绍

xpath是一门在XML文档中查找信息的语言

优点：
  • 可以在xml中找信息
  • 支持HTML的查找
  • 可以通过元素和属性进行导航

但是Xpath需要依赖xml的库，所以我们需要去安装lxml的库。

安装lxml库

我们先要安装lxml的库，直接在pycharm里安装即可：
在这里插入图片描述

XML的树形结构：

在这里插入图片描述
根元素-元素-属性-文本

使用XPath选取节点：

  • nodename: 选取此节点的所有节点
  • /从根节点选择
  • // 从匹配选择的当前节点选择文档中的节点，而不考虑他们的位置
了解本专栏 订阅专栏 解锁全文
互联网老辛
关注
专栏目录
订阅专栏
爬虫练习-爬取起点中文网小说信息
莫莫先生的博客
12-15 5818
爬取起点中文网全部小说基本信息，小说名、作者、类别、连载\完结情况、简介，并将爬取的数据存储与EXCEL表中
python 小说分析_Python起点小说数据分析
weixin_39534780的博客
11-20 1263
起点，作为一个8年的老书虫肯定是知道。既然学习了数据分析，就看看起点的数据。1 获取数据首先，肯定要先获取数据，巧妇难为无米之炊，没有数据也是白搭。没有现成的数据，只能通过爬虫来爬取我们需要的数据，这里就不写怎么获取数据了。爬虫的代码是我写的第一个爬虫，准确的说应该是复制粘贴。写得也真是够烂的，爬取过程一直断，只好分小说类型一点一点爬取。庆幸的是起点中文网并没有什么反爬虫措施，不然连数据都拿不到。...
网络爬虫Xpath开发工具的使用
最新发布
weixin_49816293的博客
06-25 1417
需要说明的是，路径表达式并不唯一，既可以是从根节点开始的绝对路径，也可以是从。在该页面顶部第一部电影名称“美丽人生”的上方单击鼠标右键，，然后打开该扩展程序对应的开启按钮，此时扩展程序页面的右上角位置显示了。中，界面左侧的编辑区域用于输入路径表达式，右侧区域用于展示该路径表达式。在该菜单中单击“更多工具”→“扩展程序”进入扩展程序页面，如图。中可以看出，根据左边的路径表达式，该页面展示了所有的电影名称。工具，在左侧的编辑区域中输入上述路径表达式。）在浏览器中打开豆瓣电影首页，在该页面中单击“排行榜”
jQuery 基本过滤器
凯歌技术控团队
01-26 539
``` <html> <head> <meta charset="UTF-8"> <title>基本过滤器</title> <style type="text/css"> </style> <script type="text/javascript" src=...
xpath爬虫实战-爬取小说斗罗大陆第四部
lonmar的博客
02-02 675
lxml,requests,fake_agent 修饰爬虫 xpath html 网页元素 编码转换 建立文件夹 全部编码
Python简单爬取起点中文网小说（仅学习）
Sakuyo的弼码温生活
01-24 7299
目录前言一、爬虫思路二、使用步骤1.引入库2.读取页面3.分析HTML3.从标签中取出信息4.爬取正文总结 前言 实习期间自学了vba，现在开始捡回以前上课学过的python，在此记录学习进程 本文内容仅用于学习，请勿商用 一、爬虫思路 无需登录的页面只需要用到简单爬虫，获取小说目录、通过目录获取小说正文即可。 二、使用步骤 1.引入库 代码如下（示例）： import requests,sys from bs4 import BeautifulSoup 2.读取页面 代码如下（示例）： targe
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
数据处理：代码使用lxml库对HTML内容进行解析，使用XPath表达式提取美食的名称、人气、评论、发布者和图片等信息。同时，对评论和人气数据进行处理，使用正则表达式匹配并提取出数字内容。 存储到CSV文件：代码在...
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
python 使用xpath/lxml爬取网页表格并存CSV
12-22
0x02 爬取代码 # -*- coding: utf-8 -*-# #------------------------------------------------------------------------------- # Name: test # Author: Negoowen # Date: 2020/3/9 __Author__ = 'Negoo_wen' #-----...
爬取起点小说+mongoDB存储
mlf的博客
11-24 1480
步骤： 1.连接数据库，确定存储表结构，建表。 (init_db.py) # -*- coding: utf-8 -*- """ @Time ： 2021/1/31 15:00 @Auth ： 牟晋卓 @File ：init_db.py @IDE ：PyCharm """ import sqlite3 conn = sqlite3.connect("qidian.db") print("连接成功！") c = conn.cursor() #设置存储的字段及其类型 sql = ''' create
爬取小说xpath （某币蛆ge）懂得都懂
qq_25976859的博客
05-24 936
免责声明：本文章涉及到的应用仅供学习交流使用，不得用于任何商业用途，数据来源于互联网公开内容，没有获取任何私有和有权限的信息（个人信息等）。由此引发的任何法律纠纷与本人无关！禁止将本文技术或者本文所关联的Github项目源码用于任何目的。 大部分小说网站都这样（特别是各种笔趣阁） 不懂得块可以百度， 代码仅供参考 目标网站 ：https://www.xxxbiquge.com 2022/5/24 目前还在 需要的工具： pyth.........
爬取起点网小说【Python学习】
raptor
07-01 2708
——>>python小白一枚，仅限于了解基础语法，经过多天的学习，结果令人欣慰，可以正确的输出"Hello world！！"。 本人从来不看小说，为了看看学习效果，自己找了个网站练练手，在经过小半年的分析后，终于成功爬取了非会员的部分，会员部分不知道要怎么搞，难道要开个会员然后加上cookie，咱也不知道，咱也不敢问。虽然不能爬取会员部分，主要的是分析过程。 获取文章内容，首先要获...
基础8·起点小说一页爬取（xpath的使用，re库下的文本修改）
楼下小白
04-24 536
分析网页源代码发现，所需的文本储存在div标签下的p标签，并且p标签基本上只储存了想要获取的内容 所以调用lxml会更省力 import requests,time,re from lxml import etree def get_text(url): try: r=requests.get(url,timeout=30) r.raise_for_s...
使用python爬取小说
热门推荐
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
xpath 爬取起点小说 写入mysql前端
weixin_44600471的博客
03-04 353
import requests import lxml.etree as etree def getBook(url): response = requests.get(url) response.encoding='utf-8' #print(response) # 生成选择器对象 selector = etree.HTML(response.text)...
手把手教你用Python网络爬虫实现起点小说下载
这家伙很懒，什么都没有留下
01-22 3654
通过以上步骤，你应该已经能够使用Python网络爬虫实现起点小说的下载。请记住，在使用爬虫时，务必遵守相关法律法规和网站的使用协议。尊重网站的权益和用户的数据，避免对网站的正常运行造成干扰或侵犯他人的隐私。
python爬虫---起点中文网免费小说爬取下载-实战项目
tmyzxy1314的博客
01-13 2299
python爬虫---起点中文网免费小说爬取下载-实战项目
python使用requests+xpath爬取小说并下载
Cheng.py的博客
08-26 721
这个爬虫只是选定热门小说，不支持自选搜索下载，日后会补充并改进。 选定小说网址: 笔趣阁 爬取: 需要导入的包 import requests from lxml import etree import os import re import time import datetime 获取主页面上的小说分类地址及名称 def main_html(url,headers): # 获取首页小说分类地址 nav_name_href = "//*[@id='wrapper']/d.
Python爬虫学习：XPath解析HTML实战——好段子爬取
在爬虫实践中，XPath常用于提取网页数据，配合Python的库如BeautifulSoup或lxml，可以高效地解析和抽取所需信息。掌握XPath能够显著提高爬虫的编写效率，使数据抓取更为精准和便捷。通过每天30分钟的学习，逐步理解...
评论 82
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

互联网老辛

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值