真棒啊！Python 可以爬取大量免费小说！

最新推荐文章于 2024-05-01 21:57:08 发布
最新推荐文章于 2024-05-01 21:57:08 发布
阅读量596 收藏 11
点赞数 7
分类专栏： 学习笔记 文章标签： python 开发语言 web 开发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59596937/article/details/135581084
版权

大家好！今天给你们带来了用requests编写的网页小说爬取工具。可以轻松爬取小说名和下载链接，仅供学习！

因反爬虫策略和网页会经常调整，可能会出现代码失灵的情况，如遇到问题，可以文末找我们交流。

代码案例：

import requests
from bs4 import BeautifulSoup
import urllib.parse

def get_novels(url, page_count):
    #发送GET请求获取页面内容
    response = requests.get(url)
    content = response.content.decode('gbk')

    #使用BeautifulSoup解析HTML
    soup = BeautifulSoup(content, 'html.parser')

    #查找所有符合条件的元素
    elements = soup.select('.pldal_r1_bt a')

    #使用一个集合保存已经处理过的链接和小说名
    processed_links = set()

    #遍历输出文本和链接
    for element in elements:
        # 获取小说名
        novel_name = element.text.strip()

        #获取li中a标签的链接
        href = element['href']
        if '/book/' not in href:
            continue
        
        link_response = requests.get(urllib.parse.urljoin(url, href))
        link_content = link_response.content.decode('gbk')
        link_soup = BeautifulSoup(link_content, 'html.parser')
        
        #获取下载链接
        #download_element = link_soup.select_one('.dl_link_bd li a')
        if download_element:
            download_link = urllib.parse.urljoin(url, download_element['href'])
        else:
            download_element = link_soup.select_one('.dl_link_bd div a')
            if download_element:
                download_link = urllib.parse.urljoin(url, download_element['href'])
            else:
                download_link = "链接未找到"
            
        #判断链接和小说名是否已经处理过
        if (novel_name, download_link) in processed_links:
            continue
        
        #将链接和小说名添加到已处理集合中
        processed_links.add((novel_name, download_link))

        print(f"小说名：{novel_name}")
        print(f"下载链接：{download_link}")
    #获取下一页链接
    #next_page_link = None
    #next_page_element = soup.find('a', string='下一页')
    #if next_page_element:
        #next_page_link = urllib.parse.urljoin(url, next_page_element['href'])
    
    #继续爬取后续页数的小说名和链接
    if page_count > 1 and next_page_link:
        get_novels(next_page_link, page_count - 1)

#爬取页数
page_count = 2
#链接设置
start_url = 'http://www.12z.cn/book/dushiyule/'
#开始
get_novels(start_url, page_count)

输出
小说名：《从笑星走向巨星》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=137&uhash=174cb03a1a79050f076804ab
小说名：[都市娱乐]
下载链接：链接未找到
小说名：《地府重临人间》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=126&uhash=2e3d1b01e4b29f7ccd7565e4
小说名：《神级巫医在都市》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=125&uhash=98ae6a3b72e9d485b64e5326
小说名：《终极教官》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=121&uhash=b48cdc8554488e739f5af8b5
小说名：《仙界网络直播间》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=120&uhash=09061038f69398d1b83551e5
小说名：《老婆是武林盟主》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=279&uhash=0fcf6a3d0800257139dc1fff
小说名：《夜的命名术》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6902&uhash=593f27fca4d78e4040e5b6b3
小说名：《重生2011》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6900&uhash=fdf80b6d9412f6d720280622
小说名：《我已不做大佬好多年》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6896&uhash=3bf78814f52f8f39b723cd9e
小说名：[都市娱乐]
下载链接：链接未找到
小说名：《重生之似水流年》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6880&uhash=48162b5465d2f63976c51a5d
小说名：《重生之金融巨头》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6877&uhash=9aac2f935cb1b980656add7f
小说名：《平常人类的平凡生活》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6876&uhash=7eff5a03a6cc70ffac282042
小说名：《从冒牌大学开始》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6862&uhash=5fd229aa605fad0dfddd4f39
小说名：《寻宝从英伦开始》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6851&uhash=52e3a3c78a2f87ec225a1af9
小说名：《无敌从仙尊奶爸开始》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6840&uhash=1deaeef764535f9403b8f8e7
小说名：《超级农业强国》（校对版全本）
下载链接：http://www.12z.cn/plus/download.php?open=2&id=6837&uhash=04df41735193ff7dff5ecf45

技术交流

技术要学会分享、交流，不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

技术交流、资料干货、数据&源码，均可加交流群获取，群友已超过2000人，添加时最好的备注方式为：来源+兴趣方向，方便找到志同道合的朋友。

方式①、微信搜索公众号：Python学习与数据挖掘，后台回复： 交流
方式②、添加微信号：dkl88194，备注：来自CSDN +交流

毕设/大作业系列

Python数据开发
关注
  • 7
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python：爬取网络小说，看这一篇就够了
Tom_Jerry__的博客
10-15 4541
代码的主要内容就是通过单个章节的链接获取到回复，之后找到居中格式的div ,获取其中的文本就是先说内容 这个时候我们将其写入到txt中，知道完成下载，其中延时是必须的，防止影响网站运行，从而导致踩缝纫机的风险。滤除第一种的时候，我们只需要将章节这个也加入判断即可，滤除第二种错误数据我们就需要强行固定序列了，比如我们强行让它从第一章开始。需要导入的第三方包有两个，是requests和BeautifulSoup,其中一个是用于网页请求的，一个是网页解析的。我们发现其中还是有两个我们不想要的数据。
使用python爬取小说
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
2024年最全Python爬虫实战 爬取网络中的小说_手机怎么爬虫晋江做txt
最新发布
2401_84689601的博客
05-01 270
■ 图5-2ChromeDriver的下载页面之后，使用**selenium.webdriver.Chrome(path_of_chromedriver)**语句可创建Chrome浏览器对象，其中path_of_chromedriver就是下载的ChromeDriver的路径。在脚本中，用户可以定义一个名为NovelSpider的爬虫类，使用小说的“全部章节”页面URL进行初始化(类似于C语言中的“构造”)，同时它还拥有一个list属性，其中将会存放各个章节的URL。类方法如下。
20行Python代码，轻松获取各路小说，非常简单
m0_74942241的博客
02-15 2492
作为现代青年，我相信应该没几个没看过小说的吧，嘿嘿~ 一般来说咱们书荒的时候怎么办？自然是去起某点排行榜先找到小说名字，然后再找度娘一搜，哎 ，笔趣阁就出来答案了，美滋滋~
python爬虫实战——小说爬取
热门推荐
cuc_pyx技术小站
05-21 2万+
基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。
用python爬取一本网络小说
Binary_huang的简介
06-14 1026
用python爬取一本网络小说。
Python实战项目1——自动获取小说工具
分享关于数据的知识。
01-16 3455
Python实战项目1——自动获取小说工具
python爬虫实战-爬取小说
快乐是一切的博客
12-19 4128
今天做一个爬虫练手的小实战：爬取顶点小说网的小说，实现下载到本地（虽然网站上本来就可以下载，不过还是自己写代码来有成就感嘛！） 爬取网站 进入官网后，点击元尊，就爬取这本书了。 我们先把整个网页爬下来吧！ import requests url = r'https://www.booktxt.net/6_6453/' # 网站路径 # 伪装请求头 headers = { 'User-Ag...
Python学习(一) 爬取一整篇小说
qq_63036514的博客
07-31 1798
python学习，python爬取小说
通过Python爬虫技术获取小说信息
毕业作品网站
06-17 3946
使用Python爬虫技术获取小说信息，包括小说名称、小说作者以及小说简介等作品信息！在实验中掌握Python的第三方库requests和lxml实验结果：通过编写代码，并合理解析页面以及多次调试解决爬虫过程中出现的问题，代码运行成功，获取到了第一页的10本小说的作者名、小说简介以及小说名称！运行截图如下：得到的txt文件截图：实验分析：本次实验通过编写爬虫代码，从网页中之间抓取信息，保存到本地文件中！较好的达到了实验前的需求！Python爬虫技术能大大方便人们的生活，很多手工操作需要大量时间，但是通过编写p
学会用Python爬取小说网站，想看什么就爬什么，广告也不用看了
m0_59236602的博客
01-08 964
第 2 步：用 requests 库循环请求每个章节的地址，也就是 info_lists 列表的链接，获取每个章节的网页内容，并且用 re 库正则表达式取出小说的正文内容。之后，我们还可以用 jieba 库对这个 txt 文档进行词频的统计，获得这本小说的高频词汇等信息，这也是一件非常有意思的事，这个下次我再写一篇如何使用 jieba 库。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
Python实战之小说下载神器（三）排行榜所有小说：最全热门小说合集，总有一款适合你，好多好多好多超赞的小说...（源码分享学习）
xy258009的博客
02-23 1569
哈喽！大家上午好啦，我是爱看小说的栗子同学。 今天这一期就如开头写的内容一样，接着来学习小说下载，下一期就写搜索界面跟GUI界面 啦~下一期就是小说下载器的最后一篇文章。好啦，话不多说直接开始今天的正题吧！ 主要内容：用Python代码实现多线程方式采集小说以及采集排行榜所有小说内容。
Python爬虫爬取小说网站
05-07 5782
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Author : Woolei # @File : book136_singleprocess.py import requests import time import os from bs4 import BeautifulSoup headers = { 'User-Agent': 'Mozil...
python爬虫实战零基础(1)——网站小说
qq_42208244的博客
08-11 1284
爬虫爬小说
python爬虫爬取大量新浪新闻标题
09-17
使用Python爬虫可以轻松地获取大量新浪新闻标题。通过对网页源代码进行解析，可以提取出标题数据。在上述引用中，引用和引用分别展示了如何使用正则表达式来处理文档和网址，以获取标题和链接。具体来说，可以使用类似以下的代码来进行爬取： ``` import requests import re url = 'http://news.sina.com.cn/' res = requests.get(url).text # 提取标题 pat1 = r'"title":"(.*?)",' titles = re.findall(pat1, res) for title in titles: # 对标题进行处理，如去除转义字符等 title = title.replace('\\','\\') title = title.encode('utf-8').decode('unicode_escape') print(title) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值