使用Scrapy爬取笔趣阁全部小说标题和简介

最新推荐文章于 2024-06-03 01:00:03 发布
最新推荐文章于 2024-06-03 01:00:03 发布
阅读量416 收藏 1
点赞数 2
文章标签： scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Captain_Thomas_L/article/details/138069793
版权

如图，发现笔趣阁的书本URL排列规律是https://www.bigee.cc/book/i/

i的取值范围是[1,180500],for循环遍历这180500个URL解析即可

输入命令创建scrapy 工程

scrapy startproject myspider
cd myspider
scrapy genspider bigee bigee.cc

注:scrapy genspider <爬虫名> <允许爬取的域名>

设置start_urls爬取第一个页面https://www.bigee.cc/book/1/

重写start_requests函数，for循环生成全部书本的请求，交给调度器

对响应进行处理：

在管道中把数据存入description

启用管道

在Settings中设置不遵守机器人协议，设置最大并行请求数为100

设置日志级别为WARNING

启动爬虫，设置记录爬虫状态

scrapy crawl bigee -s JOBDIR=record/spider-1

控制台输出

数据写入txt

scrapy爬取小说（新笔趣阁）
qq_45900119的博客
06-06 1417
最近刚接触scrapy框架，学了一天之后直接用爬小说练手，有不妥之处愿大佬多多指点 新笔趣阁地址： https://www.xbiquge.la/ spiders中的xbiquge.py from time import sleep import scrapy import re class XbiqugeSpider(scrapy.Spider): name = 'xbiquge' allowed_domains = ['biquge7.com'] #根据需要更改 #下面的
用Scrapy爬取笔趣阁小说
查理曹的博客
06-08 7071
今天早上无聊，去笔趣阁扒了点小说存Mongodb里存着，想着哪天做一个小说网站有点用，无奈网太差，爬了一个小时就爬了几百章，爬完全网的小说，不知道要到猴年马月去了。再说说scrapy这个爬虫框架，真是不用不知道，一用吓一跳，这个实在太好用了，比自己用request，Beautifulsoup这些模块来爬，实在要简单不知多少倍。废话不多说，现在开始上代码。首先用virtualEnv创建虚拟环境并pi...
python scrapy爬取笔趣阁小说存储到mysql
qq_38977435的博客
12-02 2086
scrapy 爬取笔趣阁小说 首先创建scrapy startproject Novel项目 然后创建爬虫 scrapy genspider Downnovel www.qu.la 利用xpath对笔趣阁进行分析后 Downnovel.py如下 start_url可以换成想要爬取的书url import scrapy from Novel.items import NovelItem import re from copy import deepcopy import urllib import cop
2021年scrapy一分钟内爬取笔趣阁整本小说存为txt｜解决章节排序问题
qq_41854703的博客
08-26 3844
本人是一个小说迷，喜欢用电纸书看小说，但苦于难以寻找网络小说的txt版本，加之最近学习了一下怎么用scrapy爬取网页数据，所以想到去使用scrapy框架来爬取笔趣阁小说存为txt文件，在爬取过程中对于并发请求的章节排序是一个难点，本代码采用字典来解决这一问题。废话不多说，直接上思路和代码。 首先看一下小说的网页界面，今天爬取的小说是最近比较火的大奉打更人 首先在终端创建一个scrapy项目 scrapy startproject dagengr...
Scrapy实战（笔趣阁）
weixin_51885096的博客
06-03 841
今天学习Scrapy框架，完成笔趣阁小说的爬取。1.掌握Scrapy框架的基本架构；2.深入学习xpath并进行训练；3.通过pipelines将数据存储到MySQL数据库。
Scrapy入门项目
sinat_38944746的博客
12-23 416
项目目标 创建一个 Scrapy 项目。 创建一个 Spider 来抓取站点和处理数据。 通过命令行将抓取的内容导出。 将抓取的内容保存到 MongoDB 数据库。 开发工具 Scrapy 框架 MongoDB PyMongo 库 创建项目 创建一个 Scrapy 项目，项目文件可以直接用 scrapy 命令生成，命令如下所示： scrapy startproject tutorial ...
【Scrapy】全栈爬取笔趣阁小说
A_彬的博客
04-30 1471
前两天介绍完了scrapy基础操作之后，今天我们来实践操一下 全栈爬取笔趣阁小说，我们要先分析其主要URL地址，可分为以下三大类： 所有小说url地址总表 小说章节总表 小说章节内 根据分析,就需要写三个函数来对页面内容进行提取和处理 spider代码 # -*- coding: utf-8 -*- import scrapy from biquge.items import Biqug...
python scrapy实例：爬取笔趣阁长篇电子书
mostermoonsky的博客
01-29 774
python scrapy实例：爬取笔趣阁长篇电子书 入门案例请看本人的scrapy学习一、二、三,本篇为进阶案例（网上有好多爬虫案例，但是80%都是无效的，大部分原因是原链接失效或者原网页发生改变，如果该实例失效，请读者留言告知，笔者定将第一时间更新） #item.py代码 import scrapy class YieldtestItem(scrapy.Item): # defin...
python应用：爬虫框架Scrapy系统学习第四篇——scrapy爬取笔趣阁小说
weixin_30260399的博客
01-21 280
使用cmd创建一个scrapy项目： 　　scrapy startproject project_name (project_name 必须以字母开头，只能包含字母、数字以及下划线<underscorce>) 　　项目目录层级如下： 　　 声明Item 　　声明我们可能用到的所有字段，包括管理字段等。管理字段可以让我们清楚何时（date）、何地（url server...
爬虫小试——Python3实现百度搜索并爬取笔趣阁的小说
在到处之间找我
03-06 1万+
个人认为本文有价值的地方在 程序难点 这一小节 目录 原生Python 安装第三方库requests 程序的难点 如何解决百度搜索问题 如何解决中文搜索出现UnicodeError问题 如何解决获取真实链接的问题 程序待改进之处 原生Python 这里提供一种不安装任何第三方库的做法： #!/usr/bin/env Python # coding=utf-8 import ...
亲测可用笔趣阁等十个最新关关全文字采集规则
10-17
总的来说，"亲测可用笔趣阁等十个最新关关全文字采集规则"涉及了网络爬虫技术的多个方面，包括网页解析、数据提取、错误处理和适应性设计。对于想要从事网络数据采集的人来说，理解和掌握这些规则是非常有价值的。
python爬取晋江小说排行榜_【含代码】Python爬虫实战：爬取全站小说排行榜
weixin_39779928的博客
02-10 5630
作者：黑黄条纹的野喵简书专栏：https://www.jianshu.com/u/7cabd1cbad0d喜欢看小说的骚年们都知道，总是有一些小说让人耳目一新，不管是仙侠还是玄幻，前面更了几十章就成功圈了一大波粉丝，成功攀上飙升榜，热门榜等各种榜，扔几个栗子出来：新笔趣阁是广大书友最值得收藏的网络小说阅读网,网站收录了当前......我就不打广告了(其他满足下文条件的网站也行，之前已经有做过简单爬...
Python爬虫实战：爬取全站小说排行榜
wwy__123的博客
12-31 8923
网络爬虫（又被称为网页蜘蛛，网络机器人，更经常被称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，已被广泛应用于互联网领域。搜索引擎使用网络爬虫抓取Web网页、文档甚至图片、音频、视频等资源，通过相应的索引技术组织这些信息，提供给搜索用户进行查询。网络爬虫也为中小站点的推广提供了有效的途径。而Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。
scrapy爬取小说(三)
baifanwudi的专栏
02-20 1612
根据上章scrapy爬取小说(二) 爬取的小说的章节是乱序的，所以需要章节排序。 使用Item和Pipeline对最终结果排序 修改items.py文件 import scrapy class NovelItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() ...
scrapy爬取笔趣阁获取全部内容，清晰过滤，得到想要的数据
青衫折扇的博客
03-21 1562
简单的创建scraly我就不多说了，浪费时间 spider # -*- coding: utf-8 -*- import scrapy from ..items import BiItem import re class QuSpider(scrapy.Spider): name = 'qu' allowed_domains = ['xbiquge.la'] st...
菜鸟爬虫-scrapy爬取笔趣阁全站小说
LongYuTianTang的博客
08-21 1471
一 创建爬虫： cd到我们存放项目的文件夹 然后 scrapy startproject BQG cd：BQG 然后 scrapy genspider biquge biduo.cc 二 使用pycharm打开我们的项目目录 1setting设置 这里我是将我的整个文件贴到这里. # -*- coding: utf-8 -*- from fake_useragent import UserAgent # Scrapy settings for BQG project # # For simplicity,
Python爬虫（scrapy模块、bs4模块） 爬取笔趣阁全本小说(三级页面)
热门推荐
mfansheng的博客
08-31 2万+
今天要做的是一个爬虫小项目，爬取小说网站，那么首先呢先对网站进行分析，这里要想爬取到每部小说的全部章节，需要爬取到三级页面，让我们看看代码实现。(https://m.wanwenhui.com/shuku/0/allvisit-0-1.html) # -*- coding: utf-8 -*- import scrapy from Day23.spiderproject.spiderproje...
爬虫-scrapy使用爬去笔趣阁小说链接+章节内容
endless/若风 - 计算机软件
12-06 830
先放个图，休息下回来写解说
python爬取笔趣阁
最新发布
12-26
Python爬取笔趣阁通常涉及网络爬虫技术，可以使用诸如requests、BeautifulSoup、Scrapy等库来获取网页内容。以下是一个简化的步骤： 1. **安装必要的库**： 首先，需要安装`requests`库来发送HTTP请求，以及`BeautifulSoup`或`lxml`用于解析HTML。 ```bash pip install requests beautifulsoup4 ``` 2. **发送GET请求**： 使用requests.get()函数向笔趣阁的章节列表页面发送请求，并获取响应数据。 ```python import requests url = "https://www.biquge5200.cc/" response = requests.get(url) ``` 3. **解析HTML**： 使用BeautifulSoup解析响应的HTML内容，找到包含章节链接的部分。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') chapter_links = soup.select('.chapter-list a') # 根据实际网页结构选择正确的CSS选择器 ``` 4. **提取并访问详细章节**： 对于每个章节链接，再次发送GET请求到详情页。 ```python for link in chapter_links: chapter_url = link['href'] chapter_content_response = requests.get(chapter_url) chapter_soup = BeautifulSoup(chapter_content_response.text, 'html.parser') # 现在你可以从这里提取文本或其他你需要的信息 ``` 5. **保存或处理数据**： 最后，你可以将抓取的数据保存到文件，数据库，或者直接进行分析。 ```python with open('chapters.txt', 'w', encoding='utf-8') as f: for content in chapter_soup.find_all('p'): # 又一次依赖HTML结构 f.write(content.text + '\n')
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值