爬取笔趣阁小说代码

最新推荐文章于 2024-10-11 05:20:33 发布
最新推荐文章于 2024-10-11 05:20:33 发布
阅读量2k 收藏 15
点赞数 30
文章标签： python beautifulsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79955980/article/details/136610416
版权

想尝试一下能不能爬取到整本小说   我爬取的是笔趣阁网站的《全职法师》小说 也是我读的第一本小说了

通过requests库和BeautifulSoup库就可以完成的项目

 第一步   先分析数据的所在规律      

在爬取数据的时候要分析想要的数据在什么地方

我们先打开小说的页面   观察url  也就是网址

然后点开小说第一张    再观察url​​​​​​

我们会发现第一章小说的内容就是在小说页面的网址后面多了一个  1.html

我们再看一下最后一章的内容

观察最后一章的url 其实也就是在最后多了个    3109.html

经过分析我们知道了一个规律 每一章小说都是在原有的基础url后面加上了一个（数字).html的后缀

我们只要能够掌握爬取一张的方法后  通过循环就可以爬取整本小说了

第二步 具体实现

完整代码

import requests
from bs4 import BeautifulSoup
import random
import time

#获取随机请求头 因为要频繁发送请求只用一个请求头的话 会被网站服务器发现 被限制发送请求
headers_list = [
    {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G955U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; SM-G981B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 13_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/87.0.4280.77 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.109 Safari/537.36 CrKey/1.54.248666'
    }, {
        'user-agent': 'Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Safari/537.36 CrKey/1.54.250320'
    }, {
        'user-agent': 'Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+'
    }, {
        'user-agent': 'Mozilla/5.0 (PlayBook; U; RIM Tablet OS 2.1.0; en-US) AppleWebKit/536.2+ (KHTML like Gecko) Version/7.2.1.0 Safari/536.2+'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.0; en-us; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.0; SM-G950U Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G965U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.1.0; SM-T837A) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.80 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; en-us; KFAPWI Build/JDQ39) AppleWebKit/535.19 (KHTML, like Gecko) Silk/3.13 Safari/535.19 Silk-Accelerated=true'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.4.2; en-us; LGMS323 Build/KOT49I.MS32310c) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows Phone 10.0; Android 4.2.1; Microsoft; Lumia 550) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Mobile Safari/537.36 Edge/14.14263'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 10 Build/MOB31T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 4.4.2; Nexus 4 Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 5X Build/OPR4.170623.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.1.1; Nexus 6 Build/N6F26U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 6P Build/OPP3.170518.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 7 Build/MOB30X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)'
    }, {
        'user-agent': 'Mozilla/5.0 (MeeGo; NokiaN9) AppleWebKit/534.13 (KHTML, like Gecko) NokiaBrowser/8.5.0 Mobile Safari/534.13'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 9; Pixel 3 Build/PQ1A.181105.017.A1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.158 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; Pixel 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 11; Pixel 3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.181 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
    }
]
#获取随机的'user-agent':值 防止因频繁因同一个用户请求而受限制
headers = random.choice(headers_list)

#设置一个标志n 当爬取完一张会输出一句        “搞定完n章” n会逐渐加1
n=1
for num in range(1,3110):#经过分析我们知道数字是从1----3109的但不能设置为3109 因为python取不到3109 所以要加1
    url = 'https://www.biqg.cc/book/9803/{}.html'.format(num)  # 根网址

#因为要保证程序的稳定性 不能因为出现意外而无法运行下去 所以我们会使用    try   except语句来控制程序的稳定
    try:
        response=requests.get(url,headers=headers,timeout=30)
        response.encoding=response.apparent_encoding
        page_text=BeautifulSoup(response.text,"html.parser")
        text_01=page_text.find("div",attrs={"id":"chaptercontent","class":"Readarea ReadAjax_content"}).text
        text_01=text_01.strip().split("\u3000\u3000")
        with open("全职法师改良.txt",mode="a")as f:
            for i in text_01:
                f.write(i)
                f.write("\n\n")
        print("搞定完%s张" % n)
        n =n + 1
    except:
        continue

祝福 感想

爬虫是一个很有趣的事情 只要你想就可以做出很多出乎意料的事情  不光可以爬取喜欢的小说

也可以爬视频 数据 来学习分析 在解决问题的同时 增强编程的能力和思维  所以让我们一起加油吧

py有趣
关注
python爬虫篇（项目案列讲解-爬取小说）
m0_65482549的博客
06-24 4219
学习一下思路：1.我们进入需要爬取到的小说界面，右键开发者工具 ，选中元素显示，然后找到需要爬取的小说章节模块在代码中的位置。将a标签中的文本内容复制，然后ctrl+u打开源代码 ctrl+f将刚刚的文本内容复制查找是否有这个模块。（比较爽的是，刚好这里有，可以不需要去查看网络请求和script代码了）那么我们现在可以可以来获取源代码了编码格式的查看方式。获取源代码之后，我们现在需要去解析一下这串源代码。
python爬取笔趣阁小说（附源码）
luxuncang的博客
03-04 8832
python爬取笔趣阁小说 文章目录python爬取笔趣阁小说前言一、获取小说目录结构获取目录连接请求代码解析目录XPathtqdm解析二、获取小说章节结构请求代码解析章节代码重构代码总结 前言 通过学习爬取电子书，了解python爬虫的魅力！ 一、获取小说目录结构 获取目录连接 可知目录连接： url = “http://www.paoshuzw.com/13/13959/” 请求代码 import requests url = "http://www.paoshuzw.com/13/1395
笔趣阁小说网在线阅读源码-易语言
06-12
笔趣阁小说网在线阅读源码
用python60行代码写一个简单的笔趣阁爬虫
Six23333的博客
01-11 1万+
系列文章目录 python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细） python多线程爬取壁纸 妈妈再也不担心我没壁纸了！. python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）. python爬虫之爬取壁纸（新手入门级）. python爬虫实战——爬取猫眼电影TOP100并导入excel表 文章目录系列文章目录前言一、网页解析二、代码填写1.获取Html及写入方法2.其余代码总结 前言 利用python写一个简单的笔趣阁爬虫，根据输入的小说
笔趣阁小说-圣墟-爬虫源代码
weixin_44456608的博客
12-15 2562
import re import requests from bs4 import BeautifulSoup url = 'http://www.biquge6.com/19_19336/' r = requests.get(url) b = BeautifulSoup(r.content.decode('gbk')) h = b.find_all(href = re.compile('/19_19336/')) # 正则匹配属性值带有/104_104216/的href标签，并返回正则模式对
笔趣阁网站小说源码搭建
04-05
笔趣阁网站小说源码 源码搭建 第三套杰奇WAP小说模板，使用百度MIP，更重要的是这次使用了百度的MIP来制作模板。 1、底层程序仍然是独立版程序，模板样式和代码已经全部重写，不在有原来的代码。 2、同时本套程序已经更新过底层代码，本套模板中，信息页、目录页、内容页这三个页面不再从数据库调用任何数据，极大减轻了数据库的负担。 3、模板用HTML5开发，HTML5的优异决定了以后更好的扩展和更适合移动设备浏览器上访问。 4、代码纯手工原创编写，包括CSS和JS代码，这对HTML代码要求高的站长是非常有利的，当然对SEO也是非常好的。 教程非常详细，不懂的小白看了都会 去除多余的代码 程序稳定无卡顿，笔趣阁小说整站源码+采集器+可用采集规则+APP+教程全部覆盖打包 仿2019最新笔趣阁小说全套源码包含有： 1，笔趣阁模板小说程序（杰奇CMS内核二开） 2，手机站wap 3，安卓封装APP 4，安装和使用视频教程（包含程序安装、小说采集设置教程、小说后台设置 广告添加教程、网站标题 模板 修改、伪静态后缀路径修改、百度数据结构化提交、手机网站搭建等） 5，关关采集器（附送采集规则、开启后自
1-4 python爬取笔趣阁小说（附带完整代码）
热门推荐
u012717715的博客
06-19 3万+
笔趣看是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。所以可以通过python爬取文本信息保存，从而达到下载的目的 以首页的《一念永恒》作为测试： 1、先查看第一章地址中的html文本：https://www.biqukan.com/1_1094/5403177.html 通过reques...
python爬取小说爬取_用python爬取笔趣阁小说
weixin_42110533的博客
02-04 1248
原标题：用python爬取笔趣阁小说首先打开笔趣阁网址，链接，搜索自己想要的小说。在网站内单击右键，点击检查，会出现如下界面! 我们需要的章节信息就在我划的这块，可以将每个标签点一下，它对应的内容就会在网站里高亮。如图，我现在点到了第一章的章节信息，它里面包含了，每一章的链接与名称。 现在我们就可以用xpath来从这标签中获得每一章的链接和名称。 import requests,osfrom lx...
爬虫练习-爬取笔趣阁小说
莫莫先生的博客
11-17 1万+
思路： 用户输入
Python爬虫抓取笔趣阁小说（含源码）
蟒蛇小码农的博客
07-12 4360
每一章节对应的链接所在的结构都是一样的，全部存在于dl->dt->dd->a->href 所以我只需要获取全部的dd标签，然后一个for循环遍历所有的dd标签，然后内部再写一个for循环，即可获取正本书籍。我们需要的小说，所以现在我们需要解析note，通过下面的信息，我们可以发现需要的文字在一个div中的文字形式，所以直接解析获取文本即可。Python所有方向的技术点做的整理，形成各个领域的知识点的汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。编码格式的查看方式。
Python获取笔趣阁网整本小说的代码
2302_76399862的博客
10-11 840
嗨害嗨，总算是搞定这个了，这几天总是报错(令人头秃)，也找过别人的资料了，发现不是想要的，也挺苦恼的，后面才发现是爬取的小说网站，它是带有反爬的，真是要“笑”死(哐哐撞大墙)只是这个下载没有那么快，满足不了批量的，但它能用欸，我因此很满足，安息！于是我选择放弃爬取，转战别处，就ok了。希望你们有帮助哇，臣退了。
【Python项目】Python基于tkinter实现一个笔趣阁小说下载器 | 附源码
Gtieguo的博客
12-05 2600
halo，包子们上午好 笔趣阁小说应该很多小伙伴都知道 但是用Python实现一个笔趣阁小说下载器 那不是爽歪歪呀 基于tkinter实现的Python版本的笔趣阁小说下载器今天小编给大家实现了关注小编，私信小编领取哟！ 当然别忘了一件三连哟~~源码点击蓝色字体领取 Python零基础入门到精通视频合集【整整800集】Python爬虫项目零基础入门合集，细狗都学会了，你还不会？Python版本：3.7.8 相关模块： tkinter模块； json模块； 以及一些python自带的模块。安装Python并添
笔趣阁（www.qu.la）小说爬取代码（python实现）
gc.collect()
06-26 1万+
import requests import os import gevent from gevent import monkey import random import re from lxml import etree from bs4 import BeautifulSoup monkey.patch_all(select=False) from urllib import parse ...
【Python项目】Python基于tkinter实现笔趣阁小说下载器（附源码）
weixin_72934044的博客
12-09 1736
hello，大家好呀~笔趣阁小说应该很多小伙伴都知道但是用Python实现一个笔趣阁小说下载器那岂不是爽歪歪呀基于tkinter实现的Python版本的笔趣阁小说下载器今天小编给大家实现了部分重要代码已经在上方给大家展示出来了
2019仿笔趣阁小说网站源码(PC版+手机版+APP+采集器+教程)下载
youpin66com的博客
06-29 2万+
第三套杰奇WAP小说模板，使用百度MIP，更重要的是这次使用了百度的MIP来制作模板。 1、底层程序仍然是独立版程序，模板样式和代码已经全部重写，不在有原来的代码。 2、同时本套程序已经更新过底层代码，本套模板中，信息页、目录页、内容页这三个页面不再从数据库调用任何数据，极大减轻了数据库的负担。 3、模板用HTML5开发，HTML5的优异决定了以后更好的扩展和更适合移动设备浏览器上访问。 4、代...
python爬取新笔趣阁小说
m0_67349390的博客
09-08 2114
【代码】python爬取新笔趣阁小说。
简单上手Python爬虫实战：笔趣阁小说爬取
2301_77408198的博客
04-06 3521
这一篇博客主要是对于刚学完request库想要找实战练习的小伙伴的，同时也希望大家取学习一下异步的概念，本次代码还运用到了线程池和xpath，有人说为啥不用协程，协程的话当时欧还没学，所以就拿线程池练练手了，现在分享给大家，希望对你们有所帮助。
Python爬取笔趣阁小说（新手可入~）
fffyyyhhh12的博客
04-10 3072
使用Beautiful Soup解析网页代码。这里我们用Beautiful Soup来提取。因此对网址加个for循环就可以提取多章小说了。一个简单的爬取，完整代码放在最后~~~点击第一篇文章，按F12进入开发者模式。为了防止文字乱码，还要对其进行转化格式。选择NetWork找到代理服务器。最后将内容写入文本文件。
python爬虫爬取笔趣阁章节
最新发布
12-28
### 使用Python编写爬虫抓取笔趣阁小说章节 为了实现这一目标，可以采用`requests`库获取网页内容并利用`BeautifulSoup`解析HTML文档。下面是一个简单的例子展示如何操作： #### 导入必要的库 ```python import requests from bs4 import BeautifulSoup ``` #### 获取页面数据 定义函数用于发送HTTP请求到指定URL，并返回响应对象的内容。 ```python def get_page_content(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") ``` #### 解析HTML结构找到所需信息 创建另一个辅助方法来处理接收到的数据流，提取出每章链接及其标题等重要字段。 ```python def parse_chapter_list(html): soup = BeautifulSoup(html, "html.parser") chapters = [] # 假设章节列表位于id为'chapterlist'的div标签内 chapter_div = soup.find('div', id='chapterlist') links = chapter_div.find_all('a') for link in links: title = link.string.strip() href = link['href'] full_url = f"http://example.com{href}" # 替换成实际域名 chapters.append({"title": title, "link": full_url}) return chapters ``` #### 主逻辑流程控制 最后一步是组合上述功能模块完成整个过程，在这里设置初始参数如起始网址等。 ```python if __name__ == "__main__": start_url = "http://www.example.com/novel/" # 将此替换为目标书籍首页地址 try: html = get_page_content(start_url) all_chapters = parse_chapter_list(html) for chap in all_chapters[:5]: # 只打印前五章作为测试 print(chap["title"], chap["link"]) except Exception as e: print(e) ``` 以上代码片段展示了基本框架[^1]。需要注意的是，具体的选择器路径可能因不同版本或更新后的网站布局而有所变化；因此建议开发者先手动查看目标站点的具体情况再调整相应部分。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值