python爬虫练习3—笔趣阁小说章节名、内容抓取

houqizili

已于 2025-01-23 14:55:29 修改

阅读量629

点赞数 9

分类专栏： py爬虫练习文章标签：爬虫

于 2025-01-23 14:17:18 首次发布

本文链接：https://blog.csdn.net/houqizili/article/details/145318081

版权

笔趣阁小说章节名、内容抓取

先找本章节少的！

错误1：Xpath路径错误

直接复制，结果有问题，源代码里就没有div[1]（hidden）。那就-1。

错误2：还有无效链接

#aiohttp.client_exceptions.InvalidUrlClientError: https://www.bq06.ccjavascript:dd_show()

大意了，没有闪！

之前看源代码，不点展开全部章节也有链接。没想到……

刷新一下网页，"展开全部章节"没了，那就先【禁用缓存】，再刷新一下，【保留日志】&

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

houqizili

关注关注

9
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python 爬虫复习之爬取笔趣阁小说网站（不用正则）

Wang Gangdan的博客

02-28

7222

前言小说网站-笔趣阁：URL：https://www.qu.la/ 笔趣阁是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。因此，本次实战就是从该网站爬取并保存一本名为《终极斗罗》的小说，该小说是唐家三少正在连载中的一部玄幻小说。 PS：本实例仅为交流学习，支持唐三大大，请上起点中文网订阅。 ...

Python爬虫练习（一）爬取新笔趣阁小说（搜索+爬取）

weixin_45785817的博客

08-05

3799

爬取笔趣阁小说（搜索+爬取）首先看看最终效果（gif）：实现步骤： 1.探查网站“http://www.xbiquge.la/”，看看网站的实现原理。 2.编写搜索功能（获取每本书目录的URL）。 3.编写写入功能（按章节写入文件）。 4.完善代码（修修bug，建了文件夹）。 ps:所需模块： import requests import bs4 # 爬网站必备两个模块不解释 import os # 用来创建文件夹的 import sys #

参与评论您还未登录，请先登录后发表或查看评论

笔趣阁，爬小说文章的爬虫

10-07

笔趣阁，爬小说文章的爬虫

笔趣阁小说全收录：Python爬虫技术让你一次看个够

最新发布

Vergelight的博客

12-28

1819

Python爬虫-笔趣阁小说

墨大爷

06-28

452

# _*_coding: utf-8 _*_ """ 笔趣阁小说网爬虫指定一本小说 requests bs4 """ from typing import Optional, Dict, List, Tuple import requests from bs4 import BeautifulSoup def request_url(url: str, headers: Dict[str, str] = None, params: Dict[str, str] = None) -> requ.

用python爬取笔趣阁小说---python爬虫

xdznb_的博客

10-07

1837

需要的导入的包： import requests import re 爬取笔趣阁小说： https://www.biquge.com.cn/ 最近在看《超神机械师》就以这个为例分析爬取代码先到小说的详情页面： https://www.biquge.com.cn/book/29105/ 检索之后可以发现每章小说的网址：用re.findall 获取这些网址保存起来待用：因为这些网址只是后半部分，我们可以加上后半部分，访问章节网址，获取小说: 最后保存到文档中就行了： import re

【Python爬虫】爬取笔趣阁小说(部分)

ZoomToday

03-13

1699

爬取小说的网站选取的是笔趣阁，笔趣阁没有反爬，比较好爬取一点。至于其他的小说网站，或者彩票，股票，也可以参照这个思路去爬取，这几天的股市真是见证历史了。源码见我的gitee或者CSDN下载。下载单章内容 #下载单章内容 def download_one_chapter(): """获取网页源代码""" target_url = 'http://www.shuquge...

python爬取笔趣阁小说案例

木梓的博客

01-09

843

import requests from bs4 import BeautifulSoup if __name__ == "__main__": # 请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'

python爬取小说写入txt_对新笔趣阁小说进行爬取，保存和下载！这就是Python的魅力...

weixin_39688170的博客

11-23

615

原标题：对新笔趣阁小说进行爬取，保存和下载！这就是Python的魅力以前挺爱在笔趣阁看小说的（老白嫖怪了）现在学了一点爬虫技术，就自然而然的想到了爬取笔趣阁的小说也算锻炼一下自己的技术，就以新笔趣阁开始分析对每一个小说目录界面的url还是很容易得到的如圣墟：http://www.xbiquge.la/13/13959/可以知道，遍历从1到13，从00001到13959，也可以访问到部分书的目录界面...

基于Python的笔趣阁小说网站爬虫实现

12-27

内容概要：本文详细介绍了如何利用 Python 编写一个简单的网络爬虫来抓取笔趣阁小说网站上的小说章节链接和标题。通过引入 BeautifulSoup 和正则表达式库对 HTML 页面进行解析，提取所需信息并将其保存为 Excel 文件...

Python爬虫之爬取笔趣阁小说下载到本地文件并且存储到数据库

includestdio12的博客

12-13

4478

学习了python之后，接触到了爬虫，加上我又喜欢看小说，所以就做了一个爬虫的小程序，爬取笔趣阁小说。程序中一共引入了以下几个库： import requests import mysql.connector import os import time from bs4 import BeautifulSoup import urllib 网站不可能把所有书籍放在页面上...

简单上手Python爬虫实战：笔趣阁小说爬取

2301_77408198的博客

04-06

3574

这一篇博客主要是对于刚学完request库想要找实战练习的小伙伴的，同时也希望大家取学习一下异步的概念，本次代码还运用到了线程池和xpath，有人说为啥不用协程，协程的话当时欧还没学，所以就拿线程池练练手了，现在分享给大家，希望对你们有所帮助。

爬虫基础之爬取某阁小说(最新版1)

一名热爱编程的热血青年

12-27

2729

爬虫基础之采集某网站的小说

Python爬虫抓取笔趣阁小说（含源码）

蟒蛇小码农的博客

07-12

4438

每一章节对应的链接所在的结构都是一样的，全部存在于dl->dt->dd->a->href 所以我只需要获取全部的dd标签，然后一个for循环遍历所有的dd标签，然后内部再写一个for循环，即可获取正本书籍。我们需要的小说，所以现在我们需要解析note，通过下面的信息，我们可以发现需要的文字在一个div中的文字形式，所以直接解析获取文本即可。Python所有方向的技术点做的整理，形成各个领域的知识点的汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。编码格式的查看方式。

【Python爬虫实战入门】：笔趣阁小说爬取，一篇教你爬虫入门

书山有路勤为径，学海无涯苦作舟。

07-16

5850

requests简介requests模块官方文档requests 是 Python 编程语言中一个常用的第三方库，它可以帮助我们向 HTTP 服务器发送各种类型的请求，并处理响应。向 Web 服务器发送 GET、POST 等请求方法；在请求中添加自定义标头（headers）、URL 参数、请求体等；自动处理 cookies；返回响应内容，并对其进行解码；处理重定向和跳转等操作；检查响应状态码以及请求所消耗的时间等信息。

python3爬取笔趣阁全站小说，分类保存到本地，多线程控制一次爬多少本

热门推荐

qq_43219902的博客

06-22

4万+

十年老书虫，极爱看小说；话不多说，先上效果这个是2021-6-21的爬笔趣阁代码的，不保证笔趣阁更新了还能用。所有小说分类(笔趣阁上共8个小说分类) 下面是爬取1-10页的500本小说，一页50本，使用了多线程一个线程下载一本小说，500本小说一共2.8G，一次爬取多少页，多少本小说只需要改变页码和书名列表下标参数即可，代码中都有注释，简单易懂。下多少本小说就要开多少个线程，一次下载完，我的cpu i58300 开1500个线程就很卡了；还有这边多线程有点bug，每次运行代码时，在所有线程启动之前可

python3.6.5爬虫之一：笔趣阁小说爬取（首页爬取法）

Rainbow

05-06

3万+

前面几次笔趣阁小说爬取法是根据每一章的地址找到下一章的地址，这种方法有个缺点，如果中间断了话，或者找不到下一章网址就会报错，这种类似串联的方法效率太低，通过研究笔趣阁每篇小说的设计架构让我找到其中的特点，这让我找到更加高效的爬取小说的方法。列表下载法第一步：分析小说设计的结构打开笔趣阁小说的目录界面，例如：龙符，可以看到，所有章节都有链接，我们可以将这些链接爬取下来，放到列表中，然后逐一...

用Python实现笔趣阁小说爬取

Miku_wx的博客

12-31

3150

今天来实现以下笔趣阁小说爬虫笔趣阁的小说爬取难度还是比较低的（不涉及搜索功能）咱们用requests和xpath来完成这个小爬虫首先肯定是导包 import requests import time from lxml import etree 然后来写两个辅助函数分别用于请求网页和xpath解析函数会让我们后面的程序更加简洁方便 def get_tag(response, tag): html = etree.HTML(response) ret = html.xpath(ta

Python爬虫——从笔趣阁爬小说

大鲸鱼吃小鲸鱼的专栏

01-20

2784

这是一个练习作品。用python脚本爬取笔趣阁上面的免费小说。环境：python3 类库：BeautifulSoup 数据源：http://www.biqukan.cc 原理就是伪装正常http请求，正常访问网页。然后通过bs4重新解析html结构来提取有效数据。 1. config文件包含了伪装请求头部，数据源配置（如果不考虑扩展其他数据源，可以写死）。 #!/usr/bin...