Python学习(一) 爬取一整篇小说

已于 2023-12-06 23:15:16 修改
阅读量1.8k 收藏 7
点赞数 5
文章标签： python 爬虫
于 2023-07-31 18:47:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_63036514/article/details/132028058
版权

自己编写的代码版本2
主要实现爬取网络小说功能，可实现搜索爬取
缺点：容易被反爬，并爬取网页有时候会返回502。并且部分网页异常，有可能连接超时。

学习到的新内容：
1.requests.Session()模块
可以实现headers、proxies、data等多种方法的记忆存储功能。
事例：
import requests
headers = {
    *****
}
proxies = {
    *****
}
session = requests.Session()
session.headers = headers
session.proxies = proxies
def main():
    url = 'http//www.baidu.com'
    response = session.get(url)
    print(response)
if __name__ == '__main__'
   main()
   
2.requests.adapters中的HTTPAdapter, Retry
可以实现断线重连的效果
实现代码：
from requests.adapters import HTTPAdapter, Retry

session = requests.Session()
session.headers = headers
session.proxies = proxies

# 创建一个Retry对象，设置重试的参数
retries = Retry(total=5,            # total=5：重连次数5次
                backoff_factor=0.1,   # backoff_factor=0.1：第二次重连时间，每次重连+本身
                # status_forcelist=[500, 502, 503, 504]：当返回为[500, 502, 503, 504]时重连
                status_forcelist=[500, 502, 503, 504])
# 把Retry对象传给HTTPAdapter，然后把HTTPAdapter挂载到session上
session.mount('http://', HTTPAdapter(max_retries=retries))

url = 'https://www.baidu.com'
response = session.get(url)

3.asyncio,aiofiles异步爬虫
提高了代码的解析速度

# 导入模块
# 本来想用lxml解析的，结果无法返回数据
from requests.adapters import HTTPAdapter, Retry
from bs4 import BeautifulSoup
import requests
import asyncio
import aiofiles
import pandas
import random
import os


def novelSearch():  # 书籍搜索
    print('部分内容无法爬取可能原网站服务器崩坏')
    print('可搜书名和作者，请您少字也别输错字。')
    name = input('输入想搜索的书名：')

    url = f'http://www.biquge5200.cc/modules/article/search.php?searchkey={name}'

    response = session.get(url)
    response.close()

    url_html = BeautifulSoup(response.text, features='lxml')
    url_find = url_html.find('table', align="center").find_all('tr')[1:]
    for i in url_find:
        book_object = i('td')
        book_name = book_object[0].text
        book_url_pd = str(book_object[0]).split('"')[3]
        book_url = 'http://www.biquge5200.cc' + book_url_pd
        book_chapter = book_object[1].text
        book_author = book_object[2].text
        book_number = book_object[3].text
        book_renew = book_object[4].text
        book_state = book_object[5].text
        dic = {'文章名称': book_name, '链接': book_url, '最新章节': book_chapter, '作者': book_author,
               '字数': book_number, '更新': book_renew, '状态': book_state}
        cones.append(dic)
        book_url_z.append(book_url)

    pandas.set_option('display.max_columns', None)
    # book.to_excel('book.xlsx', index=False)
    print('搜索结果：仅显示前50条，请输入更详细的搜索条件，缩写搜索范围。')
    print(pandas.DataFrame(cones))


def novelAnalysis():  # 书籍子链接解析
    download_name = input('输入想下载的书名：')
    download_author = input('输入文章作者名称：')

    for dc in cones:

        if download_name == dc['文章名称'] and download_author == dc['作者']:
            url = f'{dc["链接"]}'

            response = session.get(url)
            response.close()

            url_html = BeautifulSoup(response.text, features='lxml')
            url_find = url_html.find('div', id="list").find_all('a')[9:]
            print(f'---------共{len(url_find)}章----------')

            for i in url_find:
                book_name_title = i.text
                book_url_name_title = str(i).split('"')[1]
                title_url = 'http://www.biquge5200.cc' + book_url_name_title
                book_dic = {'文章名称': dc['文章名称'], '章节名称': book_name_title, '章节链接': title_url}
                book_title_download.append(book_dic)


async def book_download():  # 书籍内容解析并下载
    for i in book_title_download:
        book_read = ''
        url = i['章节链接']
        book_title = (i['章节名称'])

        response = session.get(url)  # proxies=random.choice(proxies)
        if response != '<Response [200]>':
            response = session.get(url)
        response.close()

        url_html = BeautifulSoup(response.text, features='lxml')
        url_find = url_html.find('div', id="content")
        book_read = book_read + f'{book_title}\n'
        
        # 判断内容是否为None，因为老是报错写的后面加了断线重连的代码，基本上是稳定了。
        if url_find is not None:
            for p in url_find:
                book_chapter = (p.getText('p'))
                book_read = book_read + f'{book_chapter}\n'
        else:
            print("Can not find div tag with id content")

        if not os.path.exists('小说'):
            os.mkdir('小说')

        async with aiofiles.open(f"小说/{i['文章名称']}.txt", 'a', encoding='utf-8') as download:  # 下载内容
            await download.write(book_read)
            print(f'{book_title}  --下载成功')
            await asyncio.sleep(.5)
    print('全部下载完成!')


if __name__ == '__main__':  # 执行程序

    cones = list()
    book_url_z = list()
    book_title_download = list()

    # 为了防止被反爬，专门弄了个随机headers...
    headers_list = [
        {
            'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G955U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 10; SM-G981B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.162 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (iPad; CPU OS 13_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) CriOS/87.0.4280.77 Mobile/15E148 Safari/604.1'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.109 Safari/537.36 CrKey/1.54.248666'
        }, {
            'user-agent': 'Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.188 Safari/537.36 CrKey/1.54.250320'
        }, {
            'user-agent': 'Mozilla/5.0 (BB10; Touch) AppleWebKit/537.10+ (KHTML, like Gecko) Version/10.0.9.2372 Mobile Safari/537.10+'
        }, {
            'user-agent': 'Mozilla/5.0 (PlayBook; U; RIM Tablet OS 2.1.0; en-US) AppleWebKit/536.2+ (KHTML like Gecko) Version/7.2.1.0 Safari/536.2+'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.3; en-us; SM-N900T Build/JSS15J) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.1; en-us; GT-N7100 Build/JRO03C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.0; en-us; GT-I9300 Build/IMM76D) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 7.0; SM-G950U Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.84 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; SM-G965U Build/R16NW) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.111 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.1.0; SM-T837A) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.80 Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; U; en-us; KFAPWI Build/JDQ39) AppleWebKit/535.19 (KHTML, like Gecko) Silk/3.13 Safari/535.19 Silk-Accelerated=true'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; U; Android 4.4.2; en-us; LGMS323 Build/KOT49I.MS32310c) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Windows Phone 10.0; Android 4.2.1; Microsoft; Lumia 550) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2486.0 Mobile Safari/537.36 Edge/14.14263'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Moto G (4)) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 10 Build/MOB31T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 4.4.2; Nexus 4 Build/KOT49H) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 5X Build/OPR4.170623.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 7.1.1; Nexus 6 Build/N6F26U) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Nexus 6P Build/OPP3.170518.006) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 6.0.1; Nexus 7 Build/MOB30X) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (compatible; MSIE 10.0; Windows Phone 8.0; Trident/6.0; IEMobile/10.0; ARM; Touch; NOKIA; Lumia 520)'
        }, {
            'user-agent': 'Mozilla/5.0 (MeeGo; NokiaN9) AppleWebKit/534.13 (KHTML, like Gecko) NokiaBrowser/8.5.0 Mobile Safari/534.13'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 9; Pixel 3 Build/PQ1A.181105.017.A1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.158 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 10; Pixel 4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 11; Pixel 3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.181 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 5.0; SM-G900P Build/LRX21T) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (Linux; Android 8.0.0; Pixel 2 XL Build/OPD1.170816.004) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.0.0 Mobile Safari/537.36'
        }, {
            'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 10_3_1 like Mac OS X) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.0 Mobile/14E304 Safari/602.1'
        }, {
            'user-agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1'
        }, {
            'user-agent': 'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'
        }
    ]

    headers = {
        'Host': 'www.biquge5200.cc',
        'Referer': 'http://www.biquge5200.cc/',
        'Upgrade-Insecure-Requests': '1',
        'User-Agent': f'{random.choice(headers_list)}'
    }

    session = requests.Session()
    session.headers = headers

    # 创建一个Retry对象，设置重试的参数
    retries = Retry(total=10,
                    backoff_factor=0.5,
                    status_forcelist=[500, 502, 503, 504])
    # 把Retry对象传给HTTPAdapter，然后把HTTPAdapter挂载到session上
    session.mount('http://', HTTPAdapter(max_retries=retries))

    novelSearch()
    novelAnalysis()
    asyncio.run(book_download())

 基本的功能差不多是实现了，就是爬取所需要的时间有点长。还有就是不知道为什么爬取很很长的内容的时候有可能会出现程序卡死的现象（准备去学个debag检查一下）。

梦道长生
关注
  • 5
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python爬虫实战 | 爬取网络中的小说
大模型研究中心
09-21 3243
网络文学是新世纪我国流行文化中的重要领域，年轻人对网络小说更是有着广泛的喜爱。本文以抓取网络小说正文为例编写一个简单、实用的爬虫脚本。
通过Python爬虫技术获取小说信息.zip
06-17
资源包含文件：设计报告word+项目源码 一、实验目的 使用Python爬虫技术获取小说信息，包括小说名称、小说作者以及小说简介等作品信息！在实验中掌握Python的第三方库requests和lxml 二、实验内容 ①明确实验需求——获取小说页面的相关小说信息 ②使用Python的requests库获取响应信息 ③使用python的lxml库进行必要信息的提取 ④保存信息到txt文件中！ ⑤进行多页信息提取，找到规律 三、主要仪器设备（必填） ①python编译器Pycharm ②Chrome浏览器F12进行网页的分析 详细介绍参考：https://blog.csdn.net/sheziqiong/article/details/125332723
python爬取小说并存储为txt文件
最新发布
SimonLiu的博客
05-30 635
使用python爬取小说并存储为txt文件
Python爬虫新手入门教学（二）：爬取小说
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
01-25 1万+
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。 Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 前文 Python爬虫新手入门教学（一）：爬取豆瓣电影排行信息 基本开发环境 Python 3.6 Pycharm 相关模块的使用 requests parsel 安装Python并添加到环境变量，pip安装需要的相关模块即可。 .
20行Python代码，轻松获取各路小说，非常简单
m0_74942241的博客
02-15 2629
作为现代青年，我相信应该没几个没看过小说的吧，嘿嘿~ 一般来说咱们书荒的时候怎么办？自然是去起某点排行榜先找到小说名字，然后再找度娘一搜，哎 ，笔趣阁就出来答案了，美滋滋~
python爬虫，新手入门爬取小说代码详解
weixin_37856170的博客
06-27 1932
详细的代码和注释帮助新手练习简单的小说python爬取。
python爬虫实战——小说爬取
热门推荐
cuc_pyx技术小站
05-21 2万+
基于requests库和lxml库编写的爬虫，目标小说网站域名http://www.365kk.cc/，类似的小说网站殊途同归，均可采用本文方法爬取。
python学习用到的一些书籍
weixin_44037713的博客
12-10 400
Selenium自动化测试：基于Python语言.epub Python高级编程（第2版）.epub Python网络数据采集(图灵程序设计丛书).epub “笨办法”学Python(第3版).epub Python高级编程.pdf 《Python核心编程 第二版》 pdf Django Web开发指南.pdf PYTHON网络编程基础.pdf Python数据分析与挖掘实战 (大...
python学习笔记（1）-爬取小说
w.royee的博客
07-31 795
文章爬取
python全本小说爬取
05-04
python全本小说爬取
python学习之爬取ts流电影
12-21
在Python学习的过程中，网络爬虫是一个非常实用且有趣的实践领域。本文将探讨如何使用Python爬取TS流电影，即从网站上抓取TS格式的视频片段，并将其合并成完整的电影文件。首先，我们需要了解TS（Transport Stream）...
利用Python爬取小说（附源码）
python03013的博客
06-10 1481
利用Python爬取小说（附源码）
小说全篇爬取
weixin_58474077的博客
09-09 2078
讲了小说全篇提取的方法
python:实现爬取小说(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
04-11 1966
python:实现爬取小说(附完整源码)
python爬虫——爬取小说
m0_59162248的博客
09-09 2853
先自我介绍一下，小编13年上师交大毕业，曾经在小公司待过，去过华为OPPO等大厂，18年进入阿里，直到现在。深知大多数初中级Python工程师，想要升技能，往往是需要自己摸索成长或是报班学习。 **Python这个类目无论是功能性、还是上手程度都碾压其他语言**，作为最适合零基础入门的编程语言，想要学习自然不能纸上谈兵，还得沉下心来深入的研究和学习。
python学习之爬取豌豆荚
05-17
好的，那我们来学习一下如何使用 Python 爬取豌豆荚的数据。 首先，我们需要安装 requests 和 BeautifulSoup 这两个库。你可以在命令行中输入以下命令来安装它们： ``` pip install requests pip install ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值