爬取笔趣阁小说代码

最新推荐文章于 2024-07-12 13:22:52 发布
最新推荐文章于 2024-07-12 13:22:52 发布
阅读量1.5k 收藏 13
点赞数 30
文章标签： python beautifulsoup
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_79955980/article/details/136610416
版权

想尝试一下能不能爬取到整本小说   我爬取的是笔趣阁网站的《全职法师》小说 也是我读的第一本小说了

通过requests库和BeautifulSoup库就可以完成的项目

 第一步   先分析数据的所在规律      

在爬取数据的时候要分析想要的数据在什么地方

我们先打开小说的页面   观察url  也就是网址

然后点开小说第一张    再观察url​​​​​​

我们会发现第一章小说的内容就是在小说页面的网址后面多了一个  1.html

我们再看一下最后一章的内容

观察最后一章的url 其实也就是在最后多了个    3109.html

经过分析我们知道了一个规律 每一章小说都是在原有的基础url后面加上了一个（数字).html的后缀

我们只要能够掌握爬取一张的方法后  通过循环就可以爬取整本小说了

第二步 具体实现

完整代码

import requests
from bs4 import BeautifulSoup
import random
import time

#获取随机请求头 因为要频繁发送请求只用一个请求头的话 会被网站服务器发现 被限制发送请求
headers_list = [
    {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G955U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; SM-G981B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 13_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/87.0.4280.77 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.109 Safari/537.36 CrKey/1.54.248666'
    }, {
        'user-agent': 'Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Safari/537.36 CrKey/1.54.250320'
    }, {
        'user-agent': 'Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+'
    }, {
        'user-agent': 'Mozilla/5.0 (PlayBook; U; RIM Tablet OS 2.1.0; en-US) AppleWebKit/536.2+ (KHTML like Gecko) Version/7.2.1.0 Safari/536.2+'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.0; en-us; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.0; SM-G950U Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G965U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.1.0; SM-T837A) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.80 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; en-us; KFAPWI Build/JDQ39) AppleWebKit/535.19 (KHTML, like Gecko) Silk/3.13 Safari/535.19 Silk-Accelerated=true'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.4.2; en-us; LGMS323 Build/KOT49I.MS32310c) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Windows Phone 10.0; Android 4.2.1; Microsoft; Lumia 550) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Mobile Safari/537.36 Edge/14.14263'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 10 Build/MOB31T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 4.4.2; Nexus 4 Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 5X Build/OPR4.170623.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 7.1.1; Nexus 6 Build/N6F26U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 6P Build/OPP3.170518.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 7 Build/MOB30X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)'
    }, {
        'user-agent': 'Mozilla/5.0 (MeeGo; NokiaN9) AppleWebKit/534.13 (KHTML, like Gecko) NokiaBrowser/8.5.0 Mobile Safari/534.13'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 9; Pixel 3 Build/PQ1A.181105.017.A1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.158 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 10; Pixel 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 11; Pixel 3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.181 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
    }, {
        'user-agent': 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
    }
]
#获取随机的'user-agent':值 防止因频繁因同一个用户请求而受限制
headers = random.choice(headers_list)

#设置一个标志n 当爬取完一张会输出一句        “搞定完n章” n会逐渐加1
n=1
for num in range(1,3110):#经过分析我们知道数字是从1----3109的但不能设置为3109 因为python取不到3109 所以要加1
    url = 'https://www.biqg.cc/book/9803/{}.html'.format(num)  # 根网址

#因为要保证程序的稳定性 不能因为出现意外而无法运行下去 所以我们会使用    try   except语句来控制程序的稳定
    try:
        response=requests.get(url,headers=headers,timeout=30)
        response.encoding=response.apparent_encoding
        page_text=BeautifulSoup(response.text,"html.parser")
        text_01=page_text.find("div",attrs={"id":"chaptercontent","class":"Readarea ReadAjax_content"}).text
        text_01=text_01.strip().split("\u3000\u3000")
        with open("全职法师改良.txt",mode="a")as f:
            for i in text_01:
                f.write(i)
                f.write("\n\n")
        print("搞定完%s张" % n)
        n =n + 1
    except:
        continue

祝福 感想

爬虫是一个很有趣的事情 只要你想就可以做出很多出乎意料的事情  不光可以爬取喜欢的小说

也可以爬视频 数据 来学习分析 在解决问题的同时 增强编程的能力和思维  所以让我们一起加油吧

py有趣
关注
  • 30
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
1-4 python爬取笔趣阁小说（附带完整代码）
u012717715的博客
06-19 3万+
笔趣看是一个盗版小说网站，这里有很多起点中文网的小说，该网站小说的更新速度稍滞后于起点中文网正版小说的更新速度。并且该网站只支持在线浏览，不支持小说打包下载。所以可以通过python爬取文本信息保存，从而达到下载的目的 以首页的《一念永恒》作为测试： 1、先查看第一章地址中的html文本：https://www.biqukan.com/1_1094/5403177.html 通过reques...
python爬取笔趣阁小说（附源码）
luxuncang的博客
03-04 8103
python爬取笔趣阁小说 文章目录python爬取笔趣阁小说前言一、获取小说目录结构获取目录连接请求代码解析目录XPathtqdm解析二、获取小说章节结构请求代码解析章节代码重构代码总结 前言 通过学习爬取电子书，了解python爬虫的魅力！ 一、获取小说目录结构 获取目录连接 可知目录连接： url = “http://www.paoshuzw.com/13/13959/” 请求代码 import requests url = "http://www.paoshuzw.com/13/1395
用python60行代码写一个简单的笔趣阁爬虫
Six23333的博客
01-11 1万+
系列文章目录 python爬虫实战——爬取淘宝商品信息并导入EXCEL表格（超详细） python多线程爬取壁纸 妈妈再也不担心我没壁纸了！. python爬虫爬取虎牙数据（简单利用requests库以及Beautifulsoup）. python爬虫之爬取壁纸（新手入门级）. python爬虫实战——爬取猫眼电影TOP100并导入excel表 文章目录系列文章目录前言一、网页解析二、代码填写1.获取Html及写入方法2.其余代码总结 前言 利用python写一个简单的笔趣阁爬虫，根据输入的小说
笔趣阁网站小说源码搭建
04-05
笔趣阁网站小说源码 源码搭建 第三套杰奇WAP小说模板，使用百度MIP，更重要的是这次使用了百度的MIP来制作模板。 1、底层程序仍然是独立版程序，模板样式和代码已经全部重写，不在有原来的代码。 2、同时本套程序已经更新过底层代码，本套模板中，信息页、目录页、内容页这三个页面不再从数据库调用任何数据，极大减轻了数据库的负担。 3、模板用HTML5开发，HTML5的优异决定了以后更好的扩展和更适合移动设备浏览器上访问。 4、代码纯手工原创编写，包括CSS和JS代码，这对HTML代码要求高的站长是非常有利的，当然对SEO也是非常好的。 教程非常详细，不懂的小白看了都会 去除多余的代码 程序稳定无卡顿，笔趣阁小说整站源码+采集器+可用采集规则+APP+教程全部覆盖打包 仿2019最新笔趣阁小说全套源码包含有： 1，笔趣阁模板小说程序（杰奇CMS内核二开） 2，手机站wap 3，安卓封装APP 4，安装和使用视频教程（包含程序安装、小说采集设置教程、小说后台设置 广告添加教程、网站标题 模板 修改、伪静态后缀路径修改、百度数据结构化提交、手机网站搭建等） 5，关关采集器（附送采集规则、开启后自
Python爬虫抓取笔趣阁小说（含源码）
最新发布
蟒蛇小码农的博客
07-12 1999
每一章节对应的链接所在的结构都是一样的，全部存在于dl->dt->dd->a->href 所以我只需要获取全部的dd标签，然后一个for循环遍历所有的dd标签，然后内部再写一个for循环，即可获取正本书籍。我们需要的小说，所以现在我们需要解析note，通过下面的信息，我们可以发现需要的文字在一个div中的文字形式，所以直接解析获取文本即可。Python所有方向的技术点做的整理，形成各个领域的知识点的汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。编码格式的查看方式。
笔趣阁小说网在线阅读源码-易语言
06-12
笔趣阁小说网在线阅读源码
笔趣阁小说-圣墟-爬虫源代码
weixin_44456608的博客
12-15 2385
import re import requests from bs4 import BeautifulSoup url = 'http://www.biquge6.com/19_19336/' r = requests.get(url) b = BeautifulSoup(r.content.decode('gbk')) h = b.find_all(href = re.compile('/19_19336/')) # 正则匹配属性值带有/104_104216/的href标签，并返回正则模式对
python爬取小说爬取_用python爬取笔趣阁小说
weixin_42110533的博客
02-04 1135
原标题：用python爬取笔趣阁小说首先打开笔趣阁网址，链接，搜索自己想要的小说。在网站内单击右键，点击检查，会出现如下界面! 我们需要的章节信息就在我划的这块，可以将每个标签点一下，它对应的内容就会在网站里高亮。如图，我现在点到了第一章的章节信息，它里面包含了，每一章的链接与名称。 现在我们就可以用xpath来从这标签中获得每一章的链接和名称。 import requests,osfrom lx...
爬虫练习-爬取笔趣阁小说
莫莫先生的博客
11-17 1万+
思路： 用户输入
2019仿笔趣阁小说网站源码(PC版+手机版+APP+采集器+教程)下载
热门推荐
youpin66com的博客
06-29 2万+
第三套杰奇WAP小说模板，使用百度MIP，更重要的是这次使用了百度的MIP来制作模板。 1、底层程序仍然是独立版程序，模板样式和代码已经全部重写，不在有原来的代码。 2、同时本套程序已经更新过底层代码，本套模板中，信息页、目录页、内容页这三个页面不再从数据库调用任何数据，极大减轻了数据库的负担。 3、模板用HTML5开发，HTML5的优异决定了以后更好的扩展和更适合移动设备浏览器上访问。 4、代...
笔趣阁模板
06-06
笔趣阁模板
笔趣阁模板_笔趣阁模板_
09-29
Biquge template 1.7 Universal blue tone template
【Python项目】Python基于tkinter实现一个笔趣阁小说下载器 | 附源码
Gtieguo的博客
12-05 2365
halo，包子们上午好 笔趣阁小说应该很多小伙伴都知道 但是用Python实现一个笔趣阁小说下载器 那不是爽歪歪呀 基于tkinter实现的Python版本的笔趣阁小说下载器今天小编给大家实现了关注小编，私信小编领取哟！ 当然别忘了一件三连哟~~源码点击蓝色字体领取 Python零基础入门到精通视频合集【整整800集】Python爬虫项目零基础入门合集，细狗都学会了，你还不会？Python版本：3.7.8 相关模块： tkinter模块； json模块； 以及一些python自带的模块。安装Python并添
【Python项目】Python基于tkinter实现笔趣阁小说下载器（附源码）
weixin_72934044的博客
12-09 1546
hello，大家好呀~笔趣阁小说应该很多小伙伴都知道但是用Python实现一个笔趣阁小说下载器那岂不是爽歪歪呀基于tkinter实现的Python版本的笔趣阁小说下载器今天小编给大家实现了部分重要代码已经在上方给大家展示出来了
Python爬取笔趣阁小说（新手可入~）
fffyyyhhh12的博客
04-10 1717
使用Beautiful Soup解析网页代码。这里我们用Beautiful Soup来提取。因此对网址加个for循环就可以提取多章小说了。一个简单的爬取，完整代码放在最后~~~点击第一篇文章，按F12进入开发者模式。为了防止文字乱码，还要对其进行转化格式。选择NetWork找到代理服务器。最后将内容写入文本文件。
python爬取新笔趣阁小说
m0_67349390的博客
09-08 1844
【代码】python爬取新笔趣阁小说。
笔趣阁（www.qu.la）小说爬取代码（python实现）
肥宅Sean
06-26 1万+
import requests import os import gevent from gevent import monkey import random import re from lxml import etree from bs4 import BeautifulSoup monkey.patch_all(select=False) from urllib import parse ...
使用selenium爬取笔趣阁
12-22
使用selenium爬取笔趣阁的步骤如下： 1. 安装selenium库： ```python pip install selenium ``` 2. 下载并安装浏览器驱动： 根据你使用的浏览器选择相应的驱动，例如Chrome浏览器需要下载ChromeDriver。下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads 3. 导入selenium库和相关模块： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC ``` 4. 创建浏览器对象并打开网页： ```python driver = webdriver.Chrome('path_to_chromedriver') # 替换为你的驱动路径 driver.get('http://www.xbiquge.la/14/14930/6753003.html') # 替换为你要爬取的笔趣阁网页地址 ``` 5. 使用selenium提供的方法定位元素并提取数据： ```python element = driver.find_element(By.XPATH, '//*[@id="content"]') # 根据元素的XPath定位 content = element.text # 获取元素的文本内容 print(content) ``` 6. 关闭浏览器： ```python driver.quit() ``` 这样就可以使用selenium爬取笔趣阁网页的内容了。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值