【python】采集**本子，不要看了，快进来~

最新推荐文章于 2023-11-10 17:46:51 发布
最新推荐文章于 2023-11-10 17:46:51 发布
阅读量1.6k 收藏 2
点赞数 2
分类专栏： 爬虫小案例 文章标签： python 前端 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_62853513/article/details/127710613
版权
本文介绍如何使用Python进行网络爬虫，详细讲解了如何模拟浏览器请求、解析网页数据、提取本子信息及VIP章节内容，并通过正则表达式处理数据。提供了部分代码展示和视频教程链接。
摘要由CSDN通过智能技术生成

前言

大家早好、午好、晚好吖~

相信不少小伙伴都知道这个网站，特别是中二期得时候

博主我就看过，哈哈哈哈

今天我的得目的就是这个，咋来采集一下它

目录标题

代码展示

# 导入数据请求模块 --> 第三方模块 需要 pip install requests 
import requests
# 导入数据解析模块 --> 第三方模块 需要 pip install parsel
import parsel
# 导入正则模块 --> 内置模块 不需要安装
import re
from show import get_content

请求目录页url <复制>

本文只是大致展示，完整代码和视频教程点击下方蓝字

点击 蓝色字体 自取，我都放在这里了。

模拟浏览器对于 本子 目录页面url地址 发送请求

模拟浏览器 headers 请求头 字典数据类型 <复制>

headers = {
   
    # Cookie 用户信息, 检测是否有登陆账号 <登陆与否都是有cookie>
    'Cookie': '',
    # User-Agent 用户代理 表示浏览器基本身份信息
    'User-Agent': ''
}

发送请求

requests模块 get模块里面方法

response = requests.get(url=url, headers=headers)
print(response)

<Response [200]> 表示请求成功

“”"
2. 获取数据: 获取服务器返回响应数据

开发者工具 --> response

  • response.text 获取响应文本数据 网页源代码

3. 解析数据: 提取我们想要数据内容

提取本子名字 / 本子章节标题 / 本子章节url

解析数据方法:

  • xpath

  • css

  • re: 对于字符串数据直接提取的话

  • css选择器: 根据标签属性提取数据内容

转换数据类型

获取下来 response.text html字符串数据类型

get() 获取一个 返回字符串
getall() 获取多个 返回列表
“”"

转换数据类型, 可解析对象 <Selector xpath=None data='<html xmlns="http://www.w3.org/1999/x...'>

selector = parsel.Selector(response.text)

提取本子名字

name = selector<
最低0.47元/天 解锁文章
「已注销」
关注
专栏目录
homebrew1002无标题_www.homebrewelectronics.com
weixin_39841717的博客
02-15 2347
Domain Name: HOMEBREWELECTRONICS.COMRegistry Domain ID: 90267136_DOMAIN_COM-VRSNRegistrar WHOIS Server: whois.godaddy.comRegistrar URL: http://www.godaddy.comUpdated Date: 2020-08-25T10:02:54ZCreation...
python4**3的值_python【4】-函数
weixin_30029951的博客
02-09 3702
一、 定义函数定义一个函数要使用def语句，依次写出函数名、括号、括号中的参数和冒号:，然后，在缩进块中编写函数体，函数的返回值用return语句返回。如果没有return语句，函数执行完毕后也会返回结果，只是结果为None。。defadd(a,b):return a+bprint add(1,2)定义空函数可以用passdefnop():pass定义函数时，需要确定函数名和参数个数；如果有必要，...
Puqiyuan.github.io：请访问此处https://puqiyuan.github.io网站
02-22
Puqiyuan.github.io 各种计算机技术总结，主要为Linux相关，网页版： :
不要VIP，想看啥就看啥的在线网站！
热门推荐
cenfeng的博客
06-27 2万+
有句话说得好，我们舍得花300块买衣服，却舍不得掏20块充视频VIP，毕竟充了也不是天天都看，那岂不是亏大发了，出于种种原因，我们有时候不得不做伸手党，诺，手伸出来，我给你啊~ 1. M站 一进到网站，发现鼠标指针都变成小萝莉了！喜欢看动漫的小伙伴尤其不容错过，当然除了追番，还有影视区，都是一些经典国外电影，像是哥斯拉，权游第八季都能在线看哦~小编亲测画质不俗哦~ 2. Video...
DownloadWnacg:C# 下载绅士漫画的本子 自动解析列表页面 下载本子
05-23
下载地址: 有问题不能运行的话 很有可能是网站改页面结构了 时不时会更新程序的 不能解析 就多切换几个地址试试 Update: 2021/02/09 修复正则失效 Update: 2020/11/11 修改正则 网站的 封面图加了延迟加载 data目录下有脏数据的 可以把/data目录下的文件打开看一下 按日期区分 把.wnacgdb 文件以txt方式打开 第2行是 loading.jpg 的删掉即可 或者 data全删了 重新解析就行 Update: 2020/07/08 修改正则 大概4月13号之后 wnacg修改了css 就不能用 一直没关注 现在能用了 Update: 2020/03/27 解析时自动保存解析的结果 再次打开程序点击导入 可以继续未完成的下载任务 可以同时打开多个 每个填不同的网址 加快下载速度 Update: 2020/03/18 Wnacg的Zip下载链接 大
hentai:本子
03-18
本子数据库 QQ Bot本子数据库 如何导出我的收藏夹 [更新收藏夹]（ ）
python爬虫parsel-css选择器的具体用法
ai520wangzha的博客
07-07 2297
本文主要介绍了python爬虫parsel-css选择器的具体用法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧parsel 比 lxml 功能强大，它内部不光集成有xpath语法，也集成了css和re语法，相比而言，css与re通用性更强，它俩的性能完全不输xpath，特别是re，速度更快，难度也高！引入12importrequests语法使用123url选择所有元素11、选择article元素12html。
python爬虫 parsel-css选择器用法
josnmakechen的博客
08-31 3647
python爬虫 parsel-css选择器用法
【Python实战】Python中parsel两种获取数据方式
最新发布
xiaoganbuaiuk的博客
11-10 1517
Parsel是一个用于解析JSON数据的Python库。它提供了一个简单易用的API，可以轻松地从JSON文件或字符串中解析数据。可以对 HTML 和 XML 进行解析，并支持使用 XPath 和 CSS Selector 对内容进行提取和修改，同时它还融合了正则表达式提取的功能。功能灵活而又强大。在parsel实战中，我完成了一个使用parsel库的选择器来选择 特定元素的内容。在这个实战中，我使用了xpath和css方法来指定选择的元素的位置和样式，使用Selector对象来指定选择的元素，并使用。
Python 带星号（ * 或 ** ）的函数参数详解
Jianzhi的博客
02-20 2万+
1. 带默认值的参数 在了解带星号（*）的参数之前，先看下带有默认值的参数，函数定义如下： >> def defaultValueArgs(common, defaultStr = "default", defaultNum = 0): print("Common args", common) print("Default String", defaultStr) print("Default Number", defaultNum) （1）带默.
绅士
02-17
你好，世界， :waving_hand: 我的名字叫Kufre，我目前是机器学习的数据注释者。 但是，我的激情在于软件工程-您可以在github上看到我的原因。 :grinning_face_with_smiling_eyes: :grinning_face_with_smiling_eyes: :grinning_face_with_smiling_eyes: :telescope: 我目前正在着手进行一个涉及建立10个网站的项目，以提高我在HTML，CSS和Bootstrap方面的技能和经验。 :seedling: 我目前还正在学习使用Vanilla Javascript构建Javascript应用程序，希望以后从Vanilla转向React JS或Vue JS。 :people_with_bunny_ears: 我希望在涉及使用HTML，CSS / Bootstrap / SASS和香草Javascript建立网站的项目上进行协作。 :thinking_face: 我正在寻找资源和挑战方面的帮助，这些资源和挑战将帮助我更快地掌握Javascript。 :clos
Python-轻松下载nhentainet上的所有照片
08-12
轻松下载nhentai.net上的所有照片
简单的python代码爬取绅士福利！初学也能看懂！
12-21
真没标题党，我就是初学 2333 其实关键在于找到一个绅士网站 首先讲一下这个方法的框架 找到一个绅士网站，一定要是图片地址有规律的（比如 xxx.com/1.jpg，xxx.com/2.jpg 这样下去） 通过 python 枚举所有图片并下载（其实说白了就是我懒得手动操作） 逐步讲吧。 1. 找到一个绅士网站 WVVoU01HTklUV3hOTUVWMlRESm9hbUl5TVhCWmVUVjVZakpPY21OM0pUTkVKVE5F（base64 加密过若干次，请不断解密直到无法解密） 我要账号 这网站上 资源够带劲 都是非常有规律的编号。格式就是上面的 xxx.com/xxx.jpg
expachong:做成爬取exhentai的本子
03-19
交流 做好爬取exhentai的本子边学爬虫边做的所以初期会很简陋不能用预计会在一个月内完善成一个能用的
python中表达式4**0.5的值为_int(4**0.5)
weixin_39550379的博客
12-08 6718
【判断题】经过过滤的城市生活污水可以作为灌溉绿色食品基地的用水。 (5.0分)【判断题】同一种原料可以同时来自获得绿色食品认证的原料和未获得绿色食品认证的原料。【判断题】周边20km无工业的高海拔山区在申报绿色食品产区时不需要进行空气质量检测 (5.0分)【填空题】Python 语句 list(range(1,10,3)) 执行结果为 ___________________ 。【填空题】切片操作 ...
Python采集某网站内容, m3u8内容下载
python56123的博客
05-28 1万+
前言 嗨喽，大家好呐！这里是魔王~ 环境使用: Python 3.8 <建议最好是和一样版本> Pycharm 模块使用: import requests >>> pip install requests 内置模块 你安装好python环境就可以了 import re import json 如果安装python第三方模块: win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回
python采集微信聊天信息_我用 Python 破解了微信聊天记录，自动同步微信文章
weixin_39637386的博客
11-29 7826
15 directories, 0 filesMessage出来了，这是不是我们想要的呢？再往下看里面的目录：├── MessageTemp├── fts├── msg_0.db├── msg_0.db-backup├── msg_0.db-shm├── msg_0.db-wal├── msg_1.db如果你登录过该台电脑并同步过信息，那么不出意外会有挺多*.db后缀的文件。大胆地猜测一下，这是不...
python制作标书_爬取比比网中标标书，并保存为PDF格式文件
weixin_39620197的博客
01-29 334
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。以下文章来源于CSDN，作者嗨学编程python开发环境python 3.6pycharmimport requestsimport parselimport pdfkitimport time相关模块pip安装即可目标网页分析1、先从列表页中获取详情页的URL地址是静态网站，可以直接请求网页获...
python爬虫网页解析之parsel模块
aiyulove201314的博客
08-06 1万+
08.06自我总结 python爬虫网页解析之parsel模块 一.parsel模块安装 官网链接https://pypi.org/project/parsel/1.0.2/ pip install parsel==1.0.2 二.模块作用 改模块主要用来将请求后的字符串格式解析成re,xpath,css进行内容的匹配 三.使用 import requests import parsel...
掌握Python 实时采集本机摄像头视频技术
资源摘要信息:"Python实时采集本机摄像头视频" 知识点详细说明： 1. Python编程语言基础： Python是一种高级编程语言，以简洁明了的语法著称，广泛应用于数据科学、人工智能、网络爬虫、自动化脚本、Web开发以及...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值