使用Python爬取小说

最新推荐文章于 2024-04-28 20:00:00 发布
最新推荐文章于 2024-04-28 20:00:00 发布
阅读量1.4w 收藏 108
点赞数 9
分类专栏： Python 文章标签： Python 爬虫 小说 requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhy1107786871/article/details/88170456
版权

爬取网站：http://www.biqugecom.com/

爬取方式：整站爬取，就是把该站所有的小说都爬下来。

本次爬取涉及到的知识点有：

  • Xpath
  • 类的定义及使用
  • requests库的使用

准备工作

安装requests库：

pip3 install requests

安装lxml库：

pip3 install lxml

分析网站：

得到每个分类的页面的链接只有上面箭头指的地方变了下，因此这里使用Python自动生成了分类的链接：

    typeLinks = []
    for i in range(1, 9):
        typeLinks.append('http://www.biqugecom.com/list/%s-1.html' % (str(i)))
    print(typeLinks)

结果为：
 

['http://www.biqugecom.com/list/1-1.html', 'http://www.biqugecom.com/list/2-1.html', 'http://www.biqugecom.com/list/3-1.html', 'http://www.biqugecom.com/list/4-1.html', 'http://www.biqugecom.com/list/5-1.html', 'http://www.biqugecom.com/list/6-1.html', 'http://www.biqugecom.com/list/7-1.html', 'http://www.biqugecom.com/list/8-1.html']

之后再根据每个分类的链接，爬取该分类下的小说，分析分类页面小说的Xpath：

通过Xpath 获取到了一本小说的链接。

再根据一本小说的链接爬取该小说的章节链接，首先获取章节的Xpath：

获取到了一章的链接，再根据一章的链接获取小说的文本内容，还是Xpath获取：

 

 获取到小说的文本内容，下面就可以开始爬取内容了，这里先整理一下待爬取的内容的Xpath：

一本小说的Xpath：

//*[@class='media-heading book-title']/a/@href

一章的Xpath：

//*//dd//a/@href

小说内容的Xpath：

//*[@id='content']/text()

话不多说，直接上代码：

import requests
import random
from lxml import etree
import os

# 设置requests库的重连接次数
requests.adapters.DEFAULT_RETRIES = 5
# 爬取的主域名
HOST = 'http://www.biqugecom.com'
# User-Agent
user_agent = [
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"
    "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
    "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
    "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
]


# 爬取一本小说
class ScrapyOne(object):

    def __init__(self, rootLink):
        super(ScrapyOne, self).__init__()
        self.rootLink = rootLink

    # 爬取每章的链接
    def scrapyLink(self):
        try:
            # 随机生成请求头
            header = {"User-Agent": random.choice(user_agent)}
            res = requests.get(self.rootLink, headers=header)
            res.encoding = 'gbk'
            # 解析HTML
            data = etree.HTML(res.text)
            links = []
            # 获取书名
            bookname = data.xpath("//*[@id='info']/h1/text()")[0]
            # 获取每章的链接，由于前9个是推荐章节，因此从第10个开始爬
            for link in data.xpath("//*//dd//a/@href")[9:]:
                links.append(HOST + link)
            if links:
                return {
                    'bookname': bookname,
                    'links': links
                }
            else:
                return []
        except Exception as e:
            print(e)
            return []

    # 爬取一章的内容
    def scrapyText(self, url):
        try:
            header = {"User-Agent": random.choice(user_agent)}
            res = requests.get(url, headers=header)
            res.encoding = 'gbk'
            data = etree.HTML(res.text)
            # 获取章节名
            name = data.xpath("//*[@class='bookname']/h1/text()")[0]
            texts = []
            # 获取小说内容
            for text in data.xpath("//*[@id='content']/text()"):
                text = text.replace('\r\n', '').replace('\xa0\xa0\xa0\xa0', '')
                if text:
                    texts.append(text)
            if texts:
                return {
                    'name': name,
                    'texts': texts
                }
            else:
                return False
        except Exception as e:
            print(e)
            return False

    # 保存一章
    def save(self, bookname, name, texts):
        try:
            # 文件夹不存在则以小说名字创建
            if not os.path.exists('./' + bookname):
                os.makedirs('./' + bookname)
            with open('./%s/%s.txt' % (bookname, name), 'w', encoding='UTF - 8 - sig') as f:
                f.write(name + '\n')
                for text in texts:
                    f.write(text + '\n')
            f.close()
            return True
        except Exception as e:
            print(e)
            return False

    # 主函数
    def main(self):
        try:
            # 获取书的章节信息
            bookInfo = self.scrapyLink()
            # 这里的i主要是为了方便爬取出的小说在资源管理器好排序
            i = 0
            for link in bookInfo['links']:
                # 获取一章的内容
                info = self.scrapyText(link)
                if info:
                    if self.save(bookInfo['bookname'], str(i) + '-' + info['name'], info['texts']):
                        print('存储成功', info['name'])
                    else:
                        print('存储失败', info['name'])
                    i += 1
        except Exception as e:
            print(e)


# 获取每个分类下的小说链接
def scrapyRootLink(url):
    try:
        header = {"User-Agent": random.choice(user_agent)}
        res = requests.get(url, headers=header)
        res.encoding = 'gbk'
        data = etree.HTML(res.text)
        links = []
        for link in data.xpath("//*[@class='media-heading book-title']/a/@href"):
            if link:
                links.append(link)
        if links:
            print('分类已完毕 %s' % (url))
            return links
        else:
            return []
    except Exception as e:
        print(e)
        return []


if __name__ == "__main__":
    typeLinks = []
    # 生成分类链接
    for i in range(1, 9):
        typeLinks.append('http://www.biqugecom.com/list/%s-1.html' % (str(i)))
    for typeLink in typeLinks:
        # 根据分类链接
        for rootLink in scrapyRootLink(typeLink):
            # 爬取一本小说
            one = ScrapyOne(rootLink)
            one.main()

程序运行结果：

分类已完毕 http://www.biqugecom.com/list/1-1.html
存储成功   第一章 小生来也
存储成功   第二章 过河拆桥
存储成功   第三章 仙子落难
存储成功   第四章 偷鸡的贼
存储成功   第五章 后会有期
存储成功   第六章 有人带路
存储成功   第七章 有辱斯文
存储成功   第八章 撒回野吧
存储成功   第九章 同道中人
存储成功   第十章 什么意思
存储成功   第十一章 令师何人
存储成功   第十二章 此道漫漫
存储成功   第十三章 诸位慢行
存储成功   第十四章 御风而行
存储成功   第十五章 怪物凶猛
存储成功   第十六章 也很吓人
存储成功   第十七章 做梦来着
存储成功   第十八章 很不简单
存储成功   第十九章 天刑符经
存储成功   第二十章 灵山有路
存储成功   第二十一章 故人寻来
存储成功   第二十二章 图的个啥
存储成功   第二十三章 灵山仙缘
......

查看爬取的小说：

 

程序猿洋洋
关注
  • 9
    点赞
  • 踩
  • 108
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
Python爬取小说网站的小说
05-05
Python爬取小说网站的小说
【python】python小说数据抓取+可视化（源码+数据）【独一无二】
测试开发自动化
03-25 2298
># 【python】python小说数据抓取+可视化（源码+数据）【独一无二】 >--- > @[TOC](目录) --- # 一、功能描述 主要采集是创世中文网，网页中主要功能如下： 1. **爬取小说信息：** 通过循环遍历预设的小说类型和页数，使用requests库发送HTTP请求获取每一页小说信息的HTML页面，然后解析库提取页面中的小说标题、等级、类型、字数和简介等信息，并保存到Excel文件中。 2. **数据清洗和转换：** 读取Excel文件中的数据，对字数进行单位统一和异常
python爬虫实战——小说爬取
cuc_pyx技术小站
05-21 2万+
基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。
工具推荐：30 个 Chrome 灵魂插件，非常实用
最新发布
NHB234567的博客
04-28 1733
相信很多人都在使用 Chrome 浏览器，其流畅的浏览体验得到了不少用户的偏爱，但流畅只是一方面， Chrome 最大的优势还是其支持众多强大好用的扩展程序（Extensions）。下面的很多插件都是工具插件，看完保证你工作效率、心情提高1倍。1、OneTab：一键合并 tabTab 过多的时候，要关闭浏览器的时候OneTab可以帮助你快速的保存、整理浏览器。2、掘金最新的技术动态每次打开新的 tab 页面就可以看到最新、最热的技术文章。3、
手把手教你用Python爬取某网小说数据，并进行可视化分析
wslejbb的博客
05-04 5049
网络文学`是以互联网为展示平台和传播媒介，借助相关互联网手段来表现文学作品及含有一部分文字作品的网络技术产品，在当前成为一种新兴的文学现象，并快速兴起，各种网络小说也是层出不穷，今天我们使用selenium爬取红袖天香网站小说数据，并做简单数据可视化分析
初学者-Python 网页爬取小说
a7568712的博客
06-27 1万+
找到想看的小说的网站地址→爬取小说所有章节的网站地址→爬取每章小说的标题和内容→把内容保存到TXT文件确定小说的网站地址。python...
使用python爬取小说
FengF2017的博客
02-09 1万+
使用python爬虫爬取小说 喜欢看网络小说的朋友们，经常需要从网上下载小说。有些人不想向正版网页交钱，也不想注册其他网站的账号，那么对于某些比较冷门的小说或者是正在更新的小说来说，就很难下载到txt或者其他格式的小说。我就是不想花太多时间找冷门小说的下载资源，因此稍微学习了python的爬虫知识。 新建scrapy爬虫项目 scrapy是python的爬虫框架。使用以下语句安装scra...
python：爬取网络小说，看这一篇就够了
Tom_Jerry__的博客
10-15 4510
代码的主要内容就是通过单个章节的链接获取到回复，之后找到居中格式的div ,获取其中的文本就是先说内容 这个时候我们将其写入到txt中，知道完成下载，其中延时是必须的，防止影响网站运行，从而导致踩缝纫机的风险。滤除第一种的时候，我们只需要将章节这个也加入判断即可，滤除第二种错误数据我们就需要强行固定序列了，比如我们强行让它从第一章开始。需要导入的第三方包有两个，是requests和BeautifulSoup,其中一个是用于网页请求的，一个是网页解析的。我们发现其中还是有两个我们不想要的数据。
用Python爬取小说
qq_45441390的博客
10-01 2083
朋友们大家好欢迎来到‘和小凌一起学习’公众号来和小凌一起学习。不知道大家有没有这样的困扰。自己爱看的小说很想把它下载到本地，好永远的拥有它。但是我们就是不能把它拥入怀中。今天我向大家介绍一个方法，用这个方法可以将自己的所爱揽入怀中。书说简短，我们直奔主题吧！ 大家有没有听说过python网络爬虫啊。它可以将网上的资料用python把它保存到本地。用爬虫下载东西速动快，量大。他最神奇的是可以下载一些...
【爬虫实战】手把手教你使用python爬取网络小说
weixin_43827376的博客
01-31 5809
文章目录写作缘起上代码思路分析效果展示写在最后 写作缘起 南墙最近发现自己常用的看小说网站多了许多广告，果然商业化的现今网上几无净土啊，便决定自己写个小说下载器，这样看小说贼爽 上代码 import random import requests from bs4 import BeautifulSoup import re import os import time # 构造请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; W
【零基础学爬虫】用python爬取小说
weixin_56760882的博客
04-28 1万+
文章目录前言一、先上效果图二、使用步骤1.引入库2.读入数据总结 前言 之前因为想研究怎么让esp8266上校园网，折腾半天，请教大佬后，说要先学爬虫，就能知道怎么模拟登录上网了。大佬学的是c#,我学的是python，于是就开始学习了python爬虫，这是学习中觉得好玩的事，也遇到了不少困难。 一、先上效果图 这本书一共两千四百多章 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pypl
完全小白篇-使用Python爬取网络小说
热门推荐
Mr_Ohahah的博客
07-26 2万+
完全小白篇-使用Python爬取网络小说找一个你要爬取的小说分析网页一、网页的展示方式需要用到的库文件向网站发送请求正则提取跳转的逻辑后续处理保存信息进入docx文件新的问题：超时重传 找一个你要爬取的小说 作为python小白，这篇博客仅作为我的一个学习记录。 本篇我就拿一个实际案例来做吧，短短50行代码调试了一晚上，爬虫还得继续好好学啊！拿最近很火的《元龙》举例。 （采用读书网的资源） 分析网页 一、网页的展示方式 打开最开始的那章，按F12看一下网页代码，首先需要注意的地方无外乎两点： 从目录的网
入门Python爬虫：使用Scrapy框架爬取小说教程及代码实例
python03011的博客
11-15 3780
相信学Python爬虫的小伙伴听说过Scrapy框架，也用过Scrapy框架。今天我们边学习Scrapy框架边爬取整部小说，让大家在不知不觉的学习过程中使用Scrapy框架完成整部小说的爬取~Scrapy框架是一个基于Twisted的异步处理框架，是纯Python实现的爬虫框架，是提取结构性数据而编写的应用框架，其架构清晰，模块之间的耦合程度低，可扩展性极强，我们只需要少量的代码就能够快速抓取数据。
用python爬取小说章节内容
寻的博客
02-05 2886
在学爬虫之前, 最好有一些html基础, 才能更好的分析网页.  主要是五步: 1.  获取链接 2. 正则匹配 3. 获取内容 4. 处理内容 5. 写入文件 代码如下: #导入相关model from bs4 import BeautifulSoup import requests import re #获取目标链接地址 url = 'http://www.biquyun....
Python爬取的小说乱码
05-25
小说乱码的问题可能有多种原因，以下是一些可能的解决方法： 1. 确认编码方式：在爬取小说时，需要确定小说网站的编码方式，如UTF-8、GB2312等。在使用Python爬虫时，可以在代码中添加如下语句进行设置： ```python import requests response = requests.get(url) response.encoding = 'UTF-8' #或者是其他编码方式 ``` 2. 使用正确的解码方式：有时候即使设置了编码方式仍然会出现乱码，这时可以尝试使用不同的解码方式来处理乱码。常用的解码方式有decode('utf-8')、decode('gbk')等。可以逐个尝试来解决问题。 ```python text = response.content.decode('gbk') #或者是其他解码方式 ``` 3. 处理特殊字符：在爬取小说时，有时候会出现特殊字符，如空格、换行符等。可以使用strip()方法或者正则表达式来处理这些特殊字符。 ```python text = text.strip() #去除空格和换行符 import re text = re.sub('\n+', '\n', text) #将连续的换行符替换为一个换行符 ``` 4. 使用第三方库：如果以上方法都不能解决问题，可以尝试使用第三方库，如chardet、iconv等。 ```python import chardet encoding = chardet.detect(response.content)['encoding'] #自动检测编码方式 text = response.content.decode(encoding, 'ignore') #忽略无法解码的字符 ``` 以上方法都是常用的处理小说乱码的方法，可以根据具体情况选择合适的方法来解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值