多线程多进程的python爬虫脚本项目（可爬起点小说VIP内容）

最新推荐文章于 2024-06-21 12:52:40 发布
最新推荐文章于 2024-06-21 12:52:40 发布
阅读量1.1k 收藏 19
点赞数 26
分类专栏： 项目实践 文章标签： python 爬虫 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Du_XiaoNan/article/details/139809090
版权

文章目录

一、1.引言

在当今的网络时代，信息传播趋于自由化且高速发展，无数的信息倾泻而下，可以从互联网获取的信息类型有很多，例如新闻、博客、论坛，乃至小说。对于读者来说，如果能有一种程序它可以自动地从网络上抓取我们需要的小说，那么阅读将会变得更加快捷和便利。为此，我计划设计并实现一个网络爬虫程序，以自动爬取起点中文网的特定小说并下载到本地。

二、2.设计思路

在设计该爬虫程序时，首先需要考虑网站的结构特点和爬取策略。经过调研，我决定使用Python语言实现该爬虫程序，具体采用requests库和BeautifulSoup库。requests库可以方便地进行网络请求，获取网站的源码，BeautifulSoup库则用于解析HTML源码，提取我们需要的信息。
此网络爬虫程序分为两个程序一个为单个的小说的爬取先利用窗口向用户请求网址，方便用户调用。再将爬取下来的文章保存到文件夹。此为基础的实现。
在这里插入图片描述

此外，还考虑单个爬取的项目效率过低，我使用Queue作为数据共享方式，ThreadPoolExecutor作为线程管理的方式，用于创建一个线程池，以便在多线程环境下执行任务，用于处理线程和进程的并发。我计划使用线程池实现多线程下载，以提高下载的效率。可看作了进阶的爬取JavaScript渲染的内容、遵循robots.txt规则的爬虫实现

三、基础实现过程

1，首先，导入需要使用的库，包括os，requests，BeautifulSoup，pyautogui 和 time。

import os
import requests
from bs4 import BeautifulSoup
import pyautogui as pg
import time

2，设置 HTTP 请求的 cookies 和 headers。这些信息会被附加到 HTTP 请求中，服务器会解析这些信息以获得请求的一些细节，例如浏览器类型(User Agent)，语言偏好等。
设置 HTTP 请求的 cookies 和 headers。这些信息会被附加到 HTTP 请求中，服务器会解析这些信息以获得请求的一些细节，例如浏览器类型（User Agent），语言偏好等。

cookies = {
    'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
    'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
    '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
    'traffic_utm_referer': 'https%3A//www.google.com/',
    '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
    'newstatisticUUID': '1718695848_1379700380',
    'fu': '898414530',
    'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
    'supportwebp': 'true',
    'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
    'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
}

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
    'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}

这些东西怎么多那要是说不想自己写应该如何：
推荐该网站https://curlconverter.com/它可以自动生成请求的 cookies 和 headers
在这里插入图片描述

关于起点小说网址的反爬应对措施可参考我的另一部博客https://blog.csdn.net/Du_XiaoNan/article/details/136774768
本篇文章主要讲多线程多进程
3，使用一个死循环来获取用户输入的网址，用于爬取小说。如果输入的网址以指定的字符串开始，则终止循环，否则打印错误信息继续循环。

while True:
    users_input = pg.prompt(title="请输入你要爬取的起点小说网址：", text="网址", default="https://www.qidian.com/book/1036526469/")
    if users_input.startswith('https://www.qidian.com/book/'):
        print("网址正确")
        break
    else:
        print("网址错误")

4，发送包含 cookies 和 headers 的 GET 请求到用户输入的网址，获取网页内容。

response = requests.get(users_input, cookies=cookies, headers=headers)

5，使用 BeautifulSoup 库解析获取到的网页内容。

bs = BeautifulSoup(response.text, 'html.parser')

6，使用 BeautifulSoup 的 find_all 方法找到页面的章节链接，和小说的名字。

ba_a=bs.find_all('a',class_='chapter-name')

7，创建一个和小说名相同的文件夹，用来存放下载的章节文件。

ba_a2 = bs.find_all('h1' ,id="bookName")
main=f'{ba_a2[0].text}'
if not os.path.exists(main):
    os.makedirs(main)

8，循环遍历每个章节链接，对每个章节链接执行以下操作：

# 下载章节
k=0
for i in ba_a:
    k+=1
    print(f"正在下载{i.text}")
    url2 =f"https:{i['href']}"
    rul = requests.get(url2, cookies=cookies, headers=headers)
    bs2 = BeautifulSoup(rul.text, 'html.parser')
    bs2_a = bs2.find_all('p')
    with open(f'{main}/{i.text}.html','w',encoding='utf-8') as f:
        # 写入html基础格式
        f.write(f'<!DOCTYPE html>\n<html lang="en">\n<head>\n    <meta charset="UTF-8">\n    <title>{i.text}</title>\n</head>\n<body>\n')
        # 写入章节题目居中
        f.write(f'<h1 style="text-align: center">{i.text}</h1>\n')
        for j in bs2_a:
            f.write(f"<h4>{j.text}</h4>")
            f.write('\n')

        # 写入上一章
        f.write(f'<a href="{ba_a[k-2].text}.html">上一章</a>\n')
        #
        # 写入下一章
        f.write(f'<a href="{ba_a[k].text}.html">下一章</a>\n</body>\n</html>')

完整代码

import os
import requests
from bs4 import BeautifulSoup
import pyautogui as pg
import time
# 设置请求头
cookies = {
    'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
    'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
    '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
    'traffic_utm_referer': 'https%3A//www.google.com/',
    '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
    'newstatisticUUID': '1718695848_1379700380',
    'fu': '898414530',
    'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
    'supportwebp': 'true',
    'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
    'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
}

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
    'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
    'Cache-Control': 'max-age=0',
    'Connection': 'keep-alive',
    # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
    'Sec-Fetch-Dest': 'document',
    'Sec-Fetch-Mode': 'navigate',
    'Sec-Fetch-Site': 'none',
    'Sec-Fetch-User': '?1',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
    'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
    'sec-ch-ua-mobile': '?0',
    'sec-ch-ua-platform': '"Windows"',
}
while True:
    users_input = pg.prompt(title="请输入你要爬取的起点小说网址：", text="网址", default="https://www.qidian.com/book/1036526469/")
    if users_input.startswith('https://www.qidian.com/book/'):
        print("网址正确")
        break
    else:
        print("网址错误")

# 发送请求
response = requests.get(users_input, cookies=cookies, headers=headers)
# 解析网页
bs = BeautifulSoup(response.text, 'html.parser')
# 获取章节信息
ba_a=bs.find_all('a',class_='chapter-name')
# 创建文件夹
ba_a2 = bs.find_all('h1' ,id="bookName")
main=f'{ba_a2[0].text}'
if not os.path.exists(main):
    os.makedirs(main)
# 下载章节
k=0
for i in ba_a:
    k+=1
    print(f"正在下载{i.text}")
    url2 =f"https:{i['href']}"
    rul = requests.get(url2, cookies=cookies, headers=headers)
    bs2 = BeautifulSoup(rul.text, 'html.parser')
    bs2_a = bs2.find_all('p')
    with open(f'{main}/{i.text}.html','w',encoding='utf-8') as f:
        # 写入html基础格式
        f.write(f'<!DOCTYPE html>\n<html lang="en">\n<head>\n    <meta charset="UTF-8">\n    <title>{i.text}</title>\n</head>\n<body>\n')
        # 写入章节题目居中
        f.write(f'<h1 style="text-align: center">{i.text}</h1>\n')
        for j in bs2_a:
            f.write(f"<h4>{j.text}</h4>")
            f.write('\n')

        # 写入上一章
        f.write(f'<a href="{ba_a[k-2].text}.html">上一章</a>\n')
        #
        # 写入下一章
        f.write(f'<a href="{ba_a[k].text}.html">下一章</a>\n</body>\n</html>')

四、进阶实现

下面我们将基于以上的基础程序编写进阶的多线程多进程程序。实现这个网络爬虫程序的整个过程包括了以下几个步骤：
1,类定义：class JinJie:这行代码定义了一个叫做"JinJie"的新类（即一个新的类型）

import os
import requests
from bs4 import BeautifulSoup
from queue import Queue, Empty
from concurrent.futures.thread import ThreadPoolExecutor
import time

class JinJie:

2,def get_novel(self,url):方法中，我们设置请求头，发送一个GET请求获取小说的页数据，然后使用BeautifulSoup解析页面中的小说信息，并把获取到的信息和目录名加入到队列中。

    def get_novel(self,url):
        cookies = {
            'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
            'traffic_utm_referer': 'https%3A//www.google.com/',
            '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
            'newstatisticUUID': '1718695848_1379700380',
            'fu': '898414530',
            'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
            'supportwebp': 'true',
            'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
            'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
        }
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
            'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'none',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
            'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
        }
        # 发送请求
        response = requests.get(url, cookies=cookies, headers=headers)
        # 解析网页
        bs = BeautifulSoup(response.text, 'html.parser')
        # 获取章节信息
        ba_a = bs.find_all('a', class_='chapter-name')
        # 创建文件夹
        ba_a2 = bs.find_all('h1', id="bookName")
        main = f'{ba_a2[0].text}'
        if not os.path.exists(main):
            os.makedirs(main)
        # self.get_page(cookies, headers,ba_a, main)
        var = (ba_a, main)
        self.novel_queue.put(var)

3,def get_page(self):方法中，我们从队列中取出小说的信息，然后从每一章的链接发送GET请求，得到每一章的内容，并将这些信息再次放入队列中。

    def get_page(self):
        cookies = {
            'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
            'traffic_utm_referer': 'https%3A//www.google.com/',
            '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
            'newstatisticUUID': '1718695848_1379700380',
            'fu': '898414530',
            'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
            'supportwebp': 'true',
            'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
            'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
        }
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
            'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'none',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
            'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
        }
        # 获取章节信息
        while True :
            try:
                ba_a, main = self.novel_queue.get(timeout=2)
            except Empty:
                break
            # 下载章节
            k = 0
            for i in ba_a:
                k += 1
                print(f"正在下载{i.text}")
                url2 = f"https:{i['href']}"
                rul = requests.get(url2, cookies=cookies, headers=headers)
                bs2 = BeautifulSoup(rul.text, 'html.parser')
                bs2_a = bs2.find_all('p')
                vars= (main,i,bs2_a,ba_a,k)
                self.download_url_queue.put(vars)

4,def get_data(self):方法中，我们获取每一章的信息并下载每一章的内容，最后将内容写入html文件。

    def get_data(self):
        # 获取小说信息
        while True:
            try:
                main,i,bs2_a,ba_a,k = self.download_url_queue.get(timeout=100)
            except Empty:
                break
            # 下载章节
            with open(f'{main}/{i.text}.html', 'w', encoding='utf-8') as f:
                # 写入html基础格式
                f.write(
                    f'<!DOCTYPE html>\n<html lang="en">\n<head>\n    <meta charset="UTF-8">\n    <title>{i.text}</title>\n</head>\n<body>\n')
                # 写入章节题目居中
                f.write(f'<h1 style="text-align: center">{i.text}</h1>\n')
                for j in bs2_a:
                    f.write(f"<h4>{j.text}</h4>")
                    f.write('\n')
                # 写入上一章
                f.write(f'<a href="{ba_a[k - 2].text}.html">上一章</a>\n')
                # # 写入目录
                # f.write(f'<a href="\首页.html">目录</a>\n')
                # 写入下一章
                f.write(f'<a href="{ba_a[k].text}.html">下一章</a>\n</body>\n</html>')

5,创建一个线程池with ThreadPoolExecutor(max_workers=16)as tp:，max_workers参数规定了线程池中最大可以存在的线程数目，此处设为16。

 with ThreadPoolExecutor(max_workers=16)as tp:

6,tp.submit()方法提交任务到线程池。此处分别提交了get_novel，get_page，get_data三种任务，每种任务都提交了多次，是并发执行的，从而实现了多线程爬取小说的目的。

Jin = JinJie()
        # 开启一个线程获取小说信息
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1005033997/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1039889503/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1037013658/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1033014772/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1037964722/')
        # 开启一个线程处理小说
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        # 开启多个线程下载小说
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)

7,if name == ‘main’:这是Python程序的入口点。当你运行这个程序时，这个条件块中的代码将被执行，创建了一个JinJie实例，然后调用了其方法提交任务。
总的来说，这个代码首先通过多线程发送网络请求来爬取小说信息，然后处理这些信息，再通过多线程批量下载小说的内容，并将内容保存到本地文件中。

if __name__ == '__main__':

完整代码

import os
import requests
from bs4 import BeautifulSoup
from queue import Queue, Empty
from concurrent.futures.thread import ThreadPoolExecutor
import time

class JinJie:
    # 设置请求头
    # 创建小说列表队列
    novel_queue = Queue()
    # 创建小说保存队列
    download_url_queue = Queue()
    # 获取小说信息
    def get_novel(self,url):
        cookies = {
            'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
            'traffic_utm_referer': 'https%3A//www.google.com/',
            '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
            'newstatisticUUID': '1718695848_1379700380',
            'fu': '898414530',
            'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
            'supportwebp': 'true',
            'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
            'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
        }
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
            'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'none',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
            'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
        }
        # 发送请求
        response = requests.get(url, cookies=cookies, headers=headers)
        # 解析网页
        bs = BeautifulSoup(response.text, 'html.parser')
        # 获取章节信息
        ba_a = bs.find_all('a', class_='chapter-name')
        # 创建文件夹
        ba_a2 = bs.find_all('h1', id="bookName")
        main = f'{ba_a2[0].text}'
        if not os.path.exists(main):
            os.makedirs(main)
        # self.get_page(cookies, headers,ba_a, main)
        var = (ba_a, main)
        self.novel_queue.put(var)
    #处理小说信息
    def get_page(self):
        cookies = {
            'e1': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            'e2': '%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D',
            '_csrfToken': 'bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7',
            'traffic_utm_referer': 'https%3A//www.google.com/',
            '_yep_uuid': 'd34769eb-33ab-2ed9-fb36-24ee50ef6100',
            'newstatisticUUID': '1718695848_1379700380',
            'fu': '898414530',
            'e2': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D',
            'supportwebp': 'true',
            'e1': '%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D',
            'w_tsfp': 'ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
        }
        headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
            'Accept-Language': 'zh-CN,zh;q=0.9,ja;q=0.8,zh-TW;q=0.7',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            # 'Cookie': 'e1=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; e2=%7B%22l6%22%3A%221%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_P_xiangqing%22%2C%22eid%22%3A%22%22%7D; _csrfToken=bXDKHEWTQK8dlYA2q5YqswLct5n8d5YdIOKQE2Z7; traffic_utm_referer=https%3A//www.google.com/; _yep_uuid=d34769eb-33ab-2ed9-fb36-24ee50ef6100; newstatisticUUID=1718695848_1379700380; fu=898414530; e2=%7B%22l6%22%3A%22%22%2C%22l1%22%3A%22%22%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22%22%7D; supportwebp=true; e1=%7B%22l6%22%3A%22%22%2C%22l1%22%3A11%2C%22pid%22%3A%22qd_p_qidian%22%2C%22eid%22%3A%22qd_A117%22%2C%22l2%22%3A1%7D; w_tsfp=ltvgWVEE2utBvS0Q6KLvnU6mEj07Z2R7xFw0D+M9Os09CKUoVJyN1o9/vdfldCyCt5Mxutrd9MVxYnGJUN8jfxkcR8SYb5tH1VPHx8NlntdKRQJtA86JUFEfce91uDJAf2IKJUDhim1/ItxBnLYz31pasnZ037ZlCa8hbMFbixsAqOPFm/97DxvSliPXAHGHM3wLc+6C6rgv8LlSgW2DugDuLi11A7lL2E2b0CgcG3pV8w2pJbsDal7wcpK9Uv8wrTPzwjn3apCs2RYj4VA3sB49AtX02TXKL3ZEIAtrZUqukO18Lv3wdaN4qzsLVfocTw9DoQsd4+U5/UVOD3nraXSKUPIoslNWFaAN9p6+NA==',
            'Sec-Fetch-Dest': 'document',
            'Sec-Fetch-Mode': 'navigate',
            'Sec-Fetch-Site': 'none',
            'Sec-Fetch-User': '?1',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.0.0 Safari/537.36',
            'sec-ch-ua': '"Google Chrome";v="123", "Not:A-Brand";v="8", "Chromium";v="123"',
            'sec-ch-ua-mobile': '?0',
            'sec-ch-ua-platform': '"Windows"',
        }
        # 获取章节信息
        while True :
            try:
                ba_a, main = self.novel_queue.get(timeout=2)
            except Empty:
                break
            # 下载章节
            k = 0
            for i in ba_a:
                k += 1
                print(f"正在下载{i.text}")
                url2 = f"https:{i['href']}"
                rul = requests.get(url2, cookies=cookies, headers=headers)
                bs2 = BeautifulSoup(rul.text, 'html.parser')
                bs2_a = bs2.find_all('p')
                vars= (main,i,bs2_a,ba_a,k)
                self.download_url_queue.put(vars)
    #下载小说
    def get_data(self):
        # 获取小说信息
        while True:
            try:
                main,i,bs2_a,ba_a,k = self.download_url_queue.get(timeout=100)
            except Empty:
                break
            # 下载章节
            with open(f'{main}/{i.text}.html', 'w', encoding='utf-8') as f:
                # 写入html基础格式
                f.write(
                    f'<!DOCTYPE html>\n<html lang="en">\n<head>\n    <meta charset="UTF-8">\n    <title>{i.text}</title>\n</head>\n<body>\n')
                # 写入章节题目居中
                f.write(f'<h1 style="text-align: center">{i.text}</h1>\n')
                for j in bs2_a:
                    f.write(f"<h4>{j.text}</h4>")
                    f.write('\n')
                # 写入上一章
                f.write(f'<a href="{ba_a[k - 2].text}.html">上一章</a>\n')
                # # 写入目录
                # f.write(f'<a href="\首页.html">目录</a>\n')
                # 写入下一章
                f.write(f'<a href="{ba_a[k].text}.html">下一章</a>\n</body>\n</html>')
if __name__ == '__main__':
    with ThreadPoolExecutor(max_workers=16)as tp:
        Jin = JinJie()
        # 开启一个线程获取小说信息
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1005033997/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1039889503/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1037013658/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1033014772/')
        tp.submit(Jin.get_novel, url='https://www.qidian.com/book/1037964722/')
        # 开启一个线程处理小说
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        tp.submit(Jin.get_page)
        # 开启多个线程下载小说
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)
        tp.submit(Jin.get_data)

五、结果展示

经过测试，该爬虫程序能够成功地从起点中文网上抓取到指定小说的所有章节，并且将每个章节内容保存成对应的HTML文件，存储在本地硬盘中。每个章节HTML文件的命名都是按照章节名来命名的，非常方便读者阅读和查找。
在这里插入图片描述
在这里插入图片描述
因为在设计网络爬虫时模拟的请求已经应对了VIP的限制所以可以查看VIP文章，快去试试吧。

半夜敲代码的夜猫子
关注
  • 26
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
python爬取vip小说章节_python 爬取起点小说vip章节（失败）
weixin_39624705的博客
11-20 5639
今天心血来潮，想爬取起点vip小说章节，花费了足足0.27大洋后，悟出来一个人生道理，这个应该是爬不下来。但是这0.27大洋也教会了我两个知识点。1.服务器只会响应客户端的请求，不会主动给客户端发送信息例如我爬取的这一章vip章节image.png客户端就会一直向服务器发送checkStatus?_csrfToken=w7RePr18qXzxByPdIn0h7iQtII0AC4z8oPMIXioz...
多线程爬虫教程
qformat的博客
03-23 567
本教程介绍如何使用Python多线程技术编写爬虫程序，以提高爬取效率。多线程是指在单个程序中同时运行多个线程。线程是程序的基本执行单元，一个进程中可以包含多个线程，每个线程都可以独立运行。在Python中，使用threading模块可以方便地创建和管理线程。通过本教程的学习，你应该掌握了如何使用Python多线程技术编写爬虫程序，以提高爬取效率。在实际使用中，还需要注意线程安全和异常处理等问题。
手把手教你用Python网络爬虫实现起点小说下载
这家伙很懒，什么都没有留下
01-22 2770
通过以上步骤，你应该已经能够使用Python网络爬虫实现起点小说的下载。请记住，在使用爬虫时，务必遵守相关法律法规和网站的使用协议。尊重网站的权益和用户的数据，避免对网站的正常运行造成干扰或侵犯他人的隐私。
Python实战：用多线程和多进程打造高效爬虫
null18的博客
09-21 3941
通过使用多线程和多进程，我们可以显著提高网络爬虫的效率，更快地获取大量数据。然而，要小心线程安全问题和进程管理的开销。挑战与创造都是很痛苦的，但是很充实。
python多线程爬虫
m0_37623374的博客
05-09 2328
之前博客中介绍的爬取实战都是使用单线程的方法进行爬取。 简单的理解就是只有一个生产者和一个消费者。生产者负责生产出来之后，就由消费者进行消费。属于一对一过程，而多线程属于多个生产者同时生产，由多个消费者同时消费，属于多对多的过程，这就大大的增加了爬取效率。 我们本章主要介绍一下这个过程 设计一个关于生产者赚钱和消费者花钱的这样一个程序！具体及注释看下方代码： import threading#导入线程的库 import random import time gMoney=0 gCondition=thre
Python爬虫——多线程爬虫如何实现？
qq_46147573的博客
07-09 1962
Python爬虫——多任务线程1.多任务2.主线程与子线程3.查看线程数量 1.多任务 多任务指的是在同一时间不同任务需要同时进行的场景，比如边听歌边刷题，边看电视边吃饭… 要实现多任务的进行，我们首先会想到的方式如下： import time # 吃饭 def Eat(): for i in range(4): print('eating...') time.sleep(1) # 看电视 def Watch(): for i in range(4):
Python爬虫入门系列之多线程爬虫优化
Packager
06-27 1194
随着互联网数据的急剧增加和页面结构的复杂化，使用单线程爬虫可能会面临性能瓶颈和效率低下的问题。为了充分利用计算机的多核处理能力，我们需要考虑使用多线程来优化爬虫程序。
解析Python网络爬虫_复习大纲.docx
06-24
并发下载是爬虫性能优化的关键，包括多线程、多进程、协程等技术。 第7章：抓取动态内容 爬虫可以抓取动态内容，包括Ajax、JavaScript生成的内容等。 第8章：图像识别与文字处理 爬虫可以进行图像识别与文字处理，...
用Python写网络爬虫.pdf
08-20
4．3．3　多进程爬虫　63 4．4　性能　67 4．5　本章小结　68 第5章　动态内容　69 5．1　动态网页示例　69 5．2　对动态网页进行逆向工程　72 5．3　渲染动态网页　77 5．3．1　PyQt还是PySide　78 5．3．2　执行...
一个帅气的py爬虫模块 环境windows11+Ubuntu+"python3.10+"+playwright
01-10
动态爬虫的并发问题，我是通过打开多chrome tab来实现异步并发，可能和搞个浏览器池多进程多线程比有点慢，但是足够我的需求了。 还有收集足够的页面信息，这点就是大同小异。 反爬虫监控。 页面的动态操作。 ...
Python多线程爬虫
11-07
Python多线程爬虫 功能描述 使用python编写一个网站爬虫程序，支持参数如下： spider.py -u url -d deep -f logfile -l loglevel(1-5) --testself -thread number --dbfile filepath --key=”HTML5” 参数说明： -u 指定爬虫开始地址 -d 指定爬虫深度 --thread 指定线程池大小，多线程爬取页面，可选参数，默认10 --dbfile 存放结果数据到指定的数据库（sqlite）文件中 --key 页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面 -l 日志记录文件记录详细程度，数字越大记录越详细，可选参数，默认spider.log --testself 程序自测，可选参数 具体要求 指定网站爬取指定深度的页面，将包含指定关键词的页面内容存放到sqlite3数据库文件中 程序每隔10秒在屏幕上打印进度信息 支持线程池机制，并发爬取网页 代码需要详尽的注释，自己需要深刻理解该程序所涉及到的各类知识点 需要自己实现线程池 使用方法 #起始地址新浪，下载2级，使用10个线程，保存到sina.db python main.py -u http://www.sina.com.cn -d 1 --thread 10 --dbfile sina.db
Python爬虫工程师面试问题总结
09-20
Python爬虫工程师在面试时可能会面临一系列技术和实践经验的考察，以下是对给定部分知识点的详细说明： 1. **`if __name__ == 'main'`的理解**：这是Python程序的一个常见模式，用来确保只有在直接运行该脚本时，...
用Python写网络爬虫PDF-理查德 劳森（Richard Lawson）
11-16
4.3.3 多进程爬虫 63 4.4 性能 67 4.5 本章小结 68 第5章 动态内容 69 5.1 动态网页示例 69 5.2 对动态网页进行逆向工程 72 5.3 渲染动态网页 77 5.3.1 PyQt还是PySide 78 5.3.2 执行 78 5.3.3 使用WebKit...
Python多线程Threads 【爬虫示例】
baiqibushitouxia的博客
04-10 778
本篇文章介绍了多线程threads和队列queue的操作，并用cnblogs进行了实例化演示爬取。
Python多线程爬虫——数据分析项目实现详解
热门推荐
Why_does_it_work的博客
01-17 5万+
爬虫和池是爬虫领域中不可或缺的概念，池能够提高爬虫的稳定性和效率，同时帮助爬虫更好地适应目标的反爬虫策略。
90分钟掌握Python多线程爬虫（全程实战）
03-01
您观看课程学习后免费入群领取【超全Python资料包+17本学习电子书】 2019年是Python彻底崛起的一年，需求多，薪资高，掌握Python爬虫也已成为每个工程师的必备项，你get到了吗？本课程通过循序渐进的讲解，让学生能够利用Python多线程+生产者和消费者模式来构造一个表情包下 爬虫程序。
Python爬虫从入门到高级实战精品课
04-24
课程介绍：         全面系统的学习Python爬虫入门视频课程，从零开始掌握Python爬虫项目的编写，学会独立开发常见的爬虫项目，让掌握好Python基础的你，把Python用起来！        1、学完能够 从零开始掌握Python爬虫项目的编写，学会独立开发常见的爬虫项目；        2、学完能够掌握常见的 反爬处理手段，比如验证码处理、浏览器伪装、代理IP池技术、用户代理池技术等；        3、学完能够熟练使用 正则表达式、 XPath表达式进行信息提取；        4、学完掌握 抓包技术，掌握 屏蔽的数据信息如何进行提取，学会自动 模拟加载行为、进行网址构造、自动模拟进行 Ajax异步请求数据；        5、熟练掌握urllib模块， 熟练使用Scrapy框架进行爬虫项目开发。
如何用python实现多线程爬虫
weixin_44617651的博客
11-21 637
当单线程python爬虫已经不能满足企业需求时，很多程序员会进行改代码或者增加服务器数量，这样虽说也能达到效果，但是对于人力物力也是一笔不小的消耗。如果是技术牛点的，正常都会自己重新改写多线程代码来实现海量数据的获取。下面就是有关python多线程的代码示例。
Windows系统上更换pip源的详细指南
最新发布
2402_85758349的博客
06-21 455
Python的包管理工具pip允许用户从Python包索引(PyPI)下载和安装第三方库。然而，默认的PyPI源有时可能因为网络问题或地理位置导致访问速度较慢。更换为更快的源可以显著提高下载和安装Python包的速度。本文将详细介绍如何在Windows系统上更换pip的源。
selenium知乎反爬
05-07
Selenium是一个自动化测试工具，可以模拟用户在浏览器中的操作。知乎作为一个知识分享社区，为了保护用户的隐私和防止恶意爬取，采取了一些反爬措施。以下是一些可能用于反爬的措施： 1. 动态加载：知乎使用了Ajax等技术进行页面内容的动态加载，使得页面内容不是一次性全部加载出来的。这样可以防止简单的爬虫直接获取到所有内容。 2. 验证码：知乎在一些敏感操作或者频繁请求时会出现验证码，需要用户手动输入验证码才能继续操作。这种方式可以有效防止自动化程序的访问。 3. 用户行为分析：知乎可能会通过分析用户的行为模式来判断是否是爬虫。例如，如果一个IP地址在短时间内频繁访问大量页面，可能会被认为是爬虫。 4. Cookie验证：知乎可能会使用Cookie来验证用户的身份和行为。如果没有正确的Cookie信息，可能无法正常访问页面。 需要注意的是，以上只是一些可能的反爬措施，具体的反爬策略可能会根据实际情况而有所不同。为了避免触发反爬机制，建议使用合理的访问频率、模拟真实用户行为，并且遵守网站的使用规则。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值