简单的多协程小说爬虫

最新推荐文章于 2024-07-28 15:46:11 发布
最新推荐文章于 2024-07-28 15:46:11 发布
阅读量384 收藏
点赞数
文章标签： python java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ch_Chenjs/article/details/108148285
版权 
from gevent import monkey, joinall
monkey.patch_all()  # 重点
from random import randint
from urllib.parse import quote
from gevent.pool import Pool
import requests
from lxml import etree
import os
import time
from re import match, findall


def download_function(index, page_url, error_number=None):
    global error_download_list
    global error_download_list_1
    global error_download_list_2
    user_Agent = {
        '1': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
        '2': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
        '3': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
        '4': 'Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50',
        '5': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)',
        "6": 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ) AppleWebKit/534.12 (KHTML, like Gecko) Maxthon/3.0 Safari/534.12',
        "7": 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)',
        "8": 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)',
        "9": 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.3 (KHTML, like Gecko) Chrome/6.0.472.33 Safari/534.3 SE 2.X MetaSr 1.0',
        "10": 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E)',
        "11": 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1 QQBrowser/6.9.11079.201',
        "12": 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; .NET4.0E) QQBrowser/6.9.11079.201',
        "13": 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)'
    }  # 好像没啥用???

    if error_number != 3:
        time.sleep(randint(1, 20))  # 网站限流  # 好讨厌的限流
    user_agent1 = user_Agent[str(randint(1, 13))]
    page_result = requests.get(url=f'https://www.xiaoshuowangzhan.com{page_url}',
                               headers={'user-agent': user_agent1})
    if page_result.status_code != 200:
        time.sleep(randint(1, 10))  # 网站限流
        user_agent2 = user_Agent[str(randint(1, 13))]
        page_result = requests.get(url=f'https://www.xiaoshuowangzhan.com{page_url}',
                                   headers={'user-agent': user_agent2})
        if page_result.status_code != 200:
            time.sleep(randint(1, 5))  # 网站限流
            user_agent3 = user_Agent[str(randint(1, 13))]
            page_result = requests.get(url=f'https://www.xiaoshuowangzhan.com{page_url}',
                                       headers={'user-agent': user_agent3})
            if page_result != 200:
                if not error_number:
                    error_download_list.append([index, page_url])
                elif error_number == 1:
                    error_download_list_1.append([index, page_url])
                elif error_number == 2:
                    error_download_list_2.append([index, page_url])
                print(f'下载失败, 被限流, 错误号:{error_number}')
                return
    page_html = etree.HTML(page_result.content)
    title = page_html.xpath('//div[@class="text-center"]/h1/text()')[0]
    messages = ''
    content = page_html.xpath('//div[@id="txtContent"]/text()')

    for i, line in enumerate(content):
        line = str(line).replace("\t", "")
        line = line.replace("\r", "")
        line = line.replace("\n", "")
        line = line.replace('　', ' ')
        line = line.replace('               ', ' ')
        messages += f'{line}\n'

    with open(f'{dir}/{index}_{title}.txt', 'w', encoding='utf-8') as fw:
        fw.write(f'{title}\n')
        fw.write(f'{messages}')
    print(f'{title} Download Success')


def merge_files(file_name):
    file_list = os.listdir(f'{file_name}/')
    with open(f'{file_name}.txt', 'w') as fw:
        for x in range(0, file_list.__len__() + 1):
            for file in file_list:
                if match(f'^{x}_.*$', file):
                    fw.write(open(dir + file, 'r', encoding='utf-8').read())
                    fw.write('\n')


def str_to_headers(base_str):
    dic = {}
    for i in base_str.split('\n'):
        if i.strip():
            dic[i.strip().split(': ')[0]] = i.strip().split(': ')[1]
    return dic


if __name__ == '__main__':
    print('请输入书名:', end='')
    file_name = input()
    print(f'书名:{file_name},开始搜索...')
    search_url = f'https://www.xiaoshuowangzhan.com/search.htm?keyword={file_name}'
    headers_str = """
        authority: www.xiaoshuowangzhan.com
        method: GET
        scheme: https
        accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
        accept-encoding: gzip, deflate, br
        accept-language: zh-CN,zh;q=0.9,en;q=0.8
        cache-control: max-age=0
        cookie: cacheAC6=122919; cids_AC6=122919
        sec-fetch-dest: document
        sec-fetch-mode: navigate
        sec-fetch-site: none
        sec-fetch-user: ?1
        upgrade-insecure-requests: 1
        user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36
    """
    PoolSize = 50
    pool = Pool(PoolSize)
    error_download_list = []
    error_download_list_1 = []
    error_download_list_2 = []
    headers = str_to_headers(headers_str)
    headers['path'] = f'/search.htm?keyword={quote(file_name)}'
    search_result = requests.get(url=search_url)  # 这个憨憨网站居然不查cookie?
    if search_result.status_code != 200:
        raise Exception('错误')
    # 处理查询 获取小说id
    search_html = etree.HTML(search_result.content)
    FictionId = search_html.xpath('//div[@class="panel-body"]/ul/li[2]/div[2]/a/@href')[0].split('/')[2]

    # 创建文件夹
    if not os.path.isdir(f'{file_name}'):
        os.mkdir(f'{file_name}')
    dir = f'{file_name}/'
    menu_url = f'https://www.xiaoshuowangzhan.com/book/{FictionId}/'
    menu_result = requests.get(url=menu_url)
    print('进入目录')
    menu_html = etree.HTML(menu_result.content)
    page_list = menu_html.xpath('//ul[@id="chapters-list"]/li/a/@href')
    pool_lis = []
    for index, page in enumerate(page_list):
        pool.spawn(download_function, index, page)
        # download_function(index, page)
    joinall(pool_lis)

    PoolSize = 30  # 减速防限流
    pool = Pool(PoolSize)
    error_download_re_download = []
    print(f'error download list length:{error_download_list.__len__()}')
    for page in error_download_list:
        error_download_re_download.append(pool.spawn(download_function, page[0], page[1], 1))
    joinall(error_download_re_download)

    PoolSize = 20  # 减速防限流
    pool = Pool(PoolSize)
    error_download_re_download = []
    print(f'error download list length1:{error_download_list_1.__len__()}')
    for page in error_download_list_1:
        error_download_re_download.append(pool.spawn(download_function, page[0], page[1], 2))
    joinall(error_download_re_download)

    for g in error_download_list_2:
        download_function(g[0], g[1], 3)  # 一个个来 防限流

    print('未完成的章节:%s' % error_download_list_2)

    merge_files(file_name)
    print('下载完成')

    print('查看是否缺失章节')
    li = os.listdir('地球人实在太凶猛了/')
    li1 = []
    for i in li:
        li1.append(int(findall('^(\d+)_.*$', i)[0]))
    li2 = list(range(0, li.__len__()))
    missing_file = list(set(li1) ^ set(li2))

    if missing_file:
        print(f'缺失章节数量: {missing_file.__len__()}, 章节号为:{missing_file}')
    else:
        print("未发现缺失章节")

    print('程序完成 END!')

简单的爬虫还是很好玩的,偶尔写下练练手,复习一下gevent的多协程模式.

Ch_Chenjs
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
超牛逼的异步协程爬虫
12-21
【超牛逼的异步协程爬虫】这篇文章主要探讨了如何利用Python的异步协程提高爬虫的效率。异步IO和协程技术在爬虫编程中扮演着重要角色，尤其对于处理大量网络请求时，能显著提升程序性能。 **一、引入** 在爬取网页...
python爬虫-超高速异步协程Python爬虫算法实现.zip
02-25
下面是一段简单的异步协程爬虫示例： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): ...
Python协程学习--爬取一本网络小说
Peng的博客
10-18 859
协程爬取 最近在学习Python爬虫，同时在公司同事的引导下接触到协程，开始学习使用协程编写异步爬虫 Python协程系列学习参考：https://blog.csdn.net/qq_27825451/article/details/86218230 目标：爬取一本网络小说 主站url url = 'http://www.quanshuwang.com/book/9/9055' 爬取流程分析：...
python3多进程+协程异步爬取小说爬虫
weixin_43853097的博客
01-15 1999
前言 之前写了一篇关于用多线程爬小说的博客，但是发现爬取16M的小说需要十几分钟，所以今天更新了一篇用多进程外加使用单线程异步的协程同样爬取之前用多线程爬取的同一篇小说，并进行两者效率的对比 本篇测试爬取的小说为《大主宰》1551章 约16M大小 步骤 全局数据列表 urls = [] #储存各章节的URL htmls = []#储存各章节页面HTML titles = []#储存各章节名字 pr...
python协程池爬虫_Python之协程爬虫 小说网协程爬虫案例
weixin_39903872的博客
12-11 233
在Gevent协程的使用中我们已经学会简单的使用协程，这篇文章我们通过协程爬虫来测试一下具体的效果。Gevent遇到IO阻塞时会自动切换任务：from gevent import monkeymonkey.patch_all() #import geventfrom urllib.request import urlopendef f(url):print('GET: %s' % url)res...
python网络爬虫：“多线程并行 + 多线程异步协程
aobulaien001的博客
09-26 1391
常规爬虫都是爬完一个网页接着爬下一个网页，不适应数据量大的网页，本文介绍了多线程处理同时爬取多个网页的内容，提升爬虫效率。一般而言，常规爬虫都是爬完一个网页接着爬下一个网页。如果当爬取的数据量非常庞大时，爬虫程序的时间开销往往很大，这个时候可以通过多线程或者多进程处理即可完成多个网页内容同时爬取的效果，数据获取速度大大提升。简单来说，CPU是进程的父级单位，一个CPU可以控制多个进程；进程是线程的父级单位，一个进程可以控制多个线程，那么到底什么是进程，什么是线程呢？
Python爬虫：爬取小说，支持多线程和导入读书软件
鵬哥的博客
06-12 992
   还记得今天是2022年6月10日的上午，只因为昨晚无意间看到一篇小说《那年那蝉那把剑》，顿时就作者的文笔给吸引了，一口气就看了50章，可惜好日子不长久。之后就居然开始收费了，作为一名IT从业者，我深知技术自由的重要性，于是便有了这篇文章。最终实现的效果如下：可选背景、可选章节、可调字体几乎与付费的 效果一样。目标网站：新笔趣阁：#https:#//www.#xbiq#uge.la/ 把#号去掉 =    第一个是User-Agent浏览器配置，第二个Cookie是用来识别用户的，第三个Host是主
协程爬取小说
自信人生二百年，会当水击三千里
03-27 99
我们的目标是爬取千千小说网站上的小说章节内容（而且能够实现章节的顺序排放哦）然后保存到本地文件。在main方法中，我们首先获取小说目录页的内容，然后提取出所有章节的链接。接着，我们创建一个任务列表，将下载章节的任务添加到列表中。其中，url是我们要爬取的小说网址，headers则是请求头信息，让我们的爬虫更像一个正常的用户。这个类就是我们的爬虫主体，RIGHT属性用来记录成功下载的章节数量。最后，我们创建一个Novel对象，并运行main方法，启动我们的爬虫。到此，我们的爬虫教程就结束了。
python爬虫简单爬取一个免费的小说网站
weixin_62575733的博客
10-29 1254
【代码】【python爬虫爬取一个免费的小说网站】
Python高级进阶--多线程爬取下载小说(基于笔趣阁的爬虫程序)
在猴站学算法
02-11 3109
本帖将详细演示爬取笔趣阁中的一本小说，将其下载到本地。内容详实，代码详解。对爬虫感兴趣的小伙伴们和新手小白都可进入学习！学会之后，可以爬取自己感兴趣的小说内容！！！
简单上手Python爬虫实战：笔趣阁小说爬取
2301_77408198的博客
04-06 1859
这一篇博客主要是对于刚学完request库想要找实战练习的小伙伴的，同时也希望大家取学习一下异步的概念，本次代码还运用到了线程池和xpath，有人说为啥不用协程，协程的话当时欧还没学，所以就拿线程池练练手了，现在分享给大家，希望对你们有所帮助。
超高速异步协程Python爬虫.zip
03-01
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
爬虫——-多协程
12-21
【标题】：爬虫——-多协程 【描述】：在Python中，代码的执行遵循线性顺序，即从上到下逐行执行。因此，对于爬虫来说，如果要爬取大量数据，通常需要等待整个过程完成才能获取所有信息。在爬虫工作中，每次发送...
python3爬虫中异步协程的用法
12-17
1. 前言 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests ...在了解异步协程之前，我们首先得了解一些基础概念，如阻塞和非阻塞、同步和异步、多进程和协程。
快醒醒，别睡了!...讲《数据分析pandas库》了—/—＜4＞
qq_64603703的博客
07-27 956
详细解说数据分析pandas库中的常用方法
全网最详细Gradio教程系列5——Gradio Client: python
shao918516的博客
07-26 1054
程序部署完成后，如何将Gradio App作为API访问使用呢，这就用到Gradio Client。本章讲解Gradio Client的三种使用方式：python、javascript和curl，受字数限制，所以分三篇博客发布。 使用Gradio Python Client非常易于将Gradio应用程序作为API使用，本节讲述gradio_client安装、如何连接Gradio应用程序、查看可用API及其使用方式、job及session等用法。 通过Gradio Python Cli
全面解析 SnowNLP：中文文本处理、情感分析
有勇气的牛排博客
07-24 718
SnowNLP 是一个专门用于处理中文文本的 Python库。分词情感分析关键词提取文本分类拼音转换繁体转简体词相似度计算等测试环境：Python3.10.9尚未测出该功能text = "有勇气的牛排写的文章通俗易懂，爱了爱了"文本分类使用的是 SnowNLP 的情感分析模型。
Chapter 18 Python异常
最新发布
2302_80253507的博客
07-28 1159
在Python中，异常是一种特定的对象，能够在程序运行过程中被抛出和处理。有效地管理异常不仅可以增强程序的稳定性，还可以提高用户体验，使程序能够优雅地处理错误情况。本章详细讲解了异常的基本概念以及如何捕获和处理异常。
python 协程asyncio爬虫
07-08
嗨！关于使用Python协程和asyncio库进行爬虫，我可以给你一些指导。首先，你可以使用asyncio库来实现异步的网络请求和处理。 下面是一个简单的示例代码，使用asyncio和aiohttp库来实现一个基本的爬虫： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): urls = [ 'http://example.com/page1', 'http://example.com/page2', 'http://example.com/page3' ] async with aiohttp.ClientSession() as session: tasks = [fetch(session, url) for url in urls] results = await asyncio.gather(*tasks) for result in results: print(result) loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 在这个示例中，我们定义了一个`fetch`函数，用于发送HTTP GET请求并返回响应内容。然后，在`main`函数中，我们定义了要爬取的URL列表，并使用`asyncio.gather`来并发地进行网络请求。 注意，这只是一个简单的示例，实际的爬虫可能需要更复杂的逻辑和处理。你可以根据自己的需求对代码进行修改和扩展。 希望这可以帮助你开始使用asyncio进行爬虫开发！如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值