【第四章-2】Python爬虫教程（协程，多任务异步协程，aiohttp模块，异步爬虫实战：爬取《西游记》全部章节内容）

最新推荐文章于 2024-03-07 09:47:46 发布
最新推荐文章于 2024-03-07 09:47:46 发布
阅读量914 收藏 10
点赞数 5
分类专栏： # 爬虫 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43629945/article/details/126528414
版权

本课程共五个章节，课程地址：

【Python爬虫教程】花9888买的Python爬虫全套教程2021完整版现分享给大家！（已更新项目）——附赠课程与资料_哔哩哔哩_bilibili

第四章

  1. 本章内容梗概
  2. 多线程
  3. 多进程
  4. 线程池和进程池
  5. 抓取广州江南果菜批发市场菜价
  6. 协程
  7. 多任务异步协程 
  8. aiohttp模块 
  9. 异步爬虫实战：扒光一本电子书
  10. 综合训练：抓取一部电影

目录

第四章

（六）协程 

（七）多任务异步协程

python编写协程的程序

官方推荐写法

在爬虫领域的应用

（八）aiohttp模块

安装

代码框架

例子

（九）异步爬虫实战：扒光一本电子书

思路

第一步：同步操作

第二步：异步操作

（六）协程 

协程能够更加高效的利用CPU

其实，我们能够高效的利用多线程来完成爬虫已经很厉害了。但是，从某种角度讲，线程的执行效率真的就无敌了吗？我们真的充分利用CPU资源了吗？非也

比如，我们来看下面这个例子。我们单独的用一个线程来完成某一个操作，看看它的效率是否真的能把CPU完全利用起来 

import time

def func():
    print("我爱黎明")
    time.sleep(3)   # 让当前的线程处于阻塞状态，CPU是不为我工作的
    print("我真的爱黎明")

if __name__ == '__main__':
    func()

# 其他能让线程处于阻塞状态的语句（一般情况下，当程序处于IO操作的时候，线程都会处于阻塞状态）   
# input()  输入
# requests.get()  发送请求（在网络请求返回数据之前，程序也是处于阻塞状态的）

在该程序中，我们的func()实际在执行的时候至少需要3s的时间来完成操作，中间的3s需要让我当前的线程处于阻塞状态，阻塞状态的线程CPU是不会来执行你的，那么此时CPU很可能会切换到其他程序上去执行。此时，对于你来说，在这3s内CPU并没有为你工作。那么我们能不能通过某种手段，让CPU一直为我工作，尽量不要去管其他人 

我们知道CPU一般抛开执行周期不谈，如果一个线程遇到了IO操作，CPU就会自动地切换到其他线程进行执行。那么，如果我想办法让我的线程遇到了IO操作就挂起，留下的都是运算操作，那CPU是不是就会长时间的来照顾我

以此为目的，程序员就发明了一个新的执行过程：当线程中遇到了IO操作的时候，将线程中的任务进行切换，切换成非IO操作，等原来的IO执行完了，再恢复到原来的任务中 

协程：当程序遇见了IO操作（费时不费力的操作）的时候，可以选择性的切换到其他任务上（程序完成的，不是操作系统完成的）

  • 在微观上是一个任务一个任务的进行切换，切换条件一般就是IO操作
  • 在宏观上，我们能看到的其实是多个任务一起在执行（多任务异步操作）

上方所讲的一切，都是在单线程的条件下

（七）多任务异步协程

python编写协程的程序

import asyncio

async def func():
    print("你好啊，我叫赛利亚")

if __name__ == '__main__':
    # print(func())  此时拿到的是一个协程对象，和生成器差不多，该函数默认是不会这样执行的
    g = func()    # 此时的函数是异步协程函数，函数执行得到的是一个协程对象
    asyncio.run(g)    # 协程程序运行需要asyncio模块的支持

但上面这个代码是单任务的，下面写一个多任务的：

import asyncio
import time

async def func1():
    print("你好啊，我叫潘金莲")
    time.sleep(3)
    print("你好啊，我叫潘金莲")

async def func2():
    print("你好啊，我叫王建国")
    time.sleep(2)
    print("你好啊，我叫王建国")

async def func3():
    print("你好啊，我叫李雪琴")
    time.sleep(4)
    print("你好啊，我叫李雪琴")

if __name__ == '__main__':
    f1 = func1()    # 此时的函数是异步协程函数，函数执行得到的是一个协程对象
    f2 = func2()
    f3 = func3()
    # 把三个任务统一放到列表里去
    tasks = [
        f1,f2,f3
    ]
    t1 = time.time()   # 执行之前记录一下时间
    # 一次性启动多个任务（协程）
    asyncio.run(asyncio.wait(tasks))    # 协程程序运行需要asyncio模块的支持
    t2 = time.time()   # 执行之后记录一下时间
    print(t2-t1)
异步操作，但跑出来的是同步效果

异步效果的：

await：当该任务被挂起后，CPU会自动切换到其他任务中 

import asyncio
import time

async def func1():
    print("你好啊，我叫潘金莲")
    # time.sleep(3)   # 当程序出现了同步操作的时候，异步就中断了  还有如requests.get()也会造成阻塞，碰到的时候也要换成对应的异步操作的代码
    await asyncio.sleep(3)   # 异步操作的代码
    print("你好啊，我叫潘金莲")

async def func2():
    print("你好啊，我叫王建国")
    # time.sleep(2)
    await asyncio.sleep(2)
    print("你好啊，我叫王建国")

async def func3():
    print("你好啊，我叫李雪琴")
    # time.sleep(4)
    await asyncio.sleep(4)
    print("你好啊，我叫李雪琴")

if __name__ == '__main__':
    f1 = func1()    # 此时的函数是异步协程函数，函数执行得到的是一个协程对象
    f2 = func2()
    f3 = func3()
    # 把三个任务统一放到列表里去
    tasks = [   # 协程任务列表
        f1,f2,f3   # 创建协程任务
    ]
    t1 = time.time()   # 执行之前记录一下时间
    # 一次性启动多个任务（协程）
    asyncio.run(asyncio.wait(tasks))    # 协程程序运行需要asyncio模块的支持
    t2 = time.time()   # 执行之后记录一下时间
    print(t2-t1)

官方推荐写法：

import asyncio
import time

async def func1():
    print("你好啊，我叫潘金莲")
    await asyncio.sleep(3)   # 异步操作的代码
    print("你好啊，我叫潘金莲")

async def func2():
    print("你好啊，我叫王建国")
    await asyncio.sleep(2)
    print("你好啊，我叫王建国")

async def func3():
    print("你好啊，我叫李雪琴")
    await asyncio.sleep(4)
    print("你好啊，我叫李雪琴")

async def main():   # 协程函数
    # 第一种写法
    # f1 = func1()
    # await f1   # 一般await挂起操作放在协程对象前面

    # 第二种写法（推荐）
    tasks = [      # 组成列表
        func1(),
        func2(),
        func3()
    ]
    await asyncio.wait(tasks)   # 一次性把所有任务都执行

if __name__ == '__main__':
    t1 = time.time()
    asyncio.run(main())    # run协程对象
    t2 = time.time()
    print(t2-t1)

python3.8之后的版本运行上述代码时可能会有警告，将代码稍作修改：

# py3.8之后需要我们手动将协程对象包装成task对象

    tasks = [
        asyncio.create_task(func1()),  # py3.8以后加上asyncio.create_task()
        asyncio.create_task(func2()),
        asyncio.create_task(func3())
    ]
    await asyncio.wait(tasks)

在爬虫领域的应用：

import asyncio

# 在爬虫领域的应用
async def download(url):
    print("准备开始下载")
    await asyncio.sleep(2)    # 模拟网络请求   不能写requests.get()
    print("下载完成")

async def main():
    urls = [
        "http://www.baidu.com",
        "http://www.bilibili.com",
        "http://www.163.com"
    ]

    tasks = []
    for url in urls:
        d = download(url)   # 协程对象
        tasks.append(d)

    await asyncio.wait(tasks)

if __name__ == '__main__':
    asyncio.run(main())

python3.8之后的版本运行上述代码时可能会有警告，将代码稍作修改：

# 准备异步协程对象列表
    tasks = []
    for url in urls:
        d = asycio.create_task(download(url))
        tasks.append(d)

    tasks = [asyncio.create_task(download(url)) for url in urls]  # 这么干也行哦~

多线程和异步一个是程序执行模式，一个是IO模式。协程是单线程，事实上只是节省了CPU切栈的时间

（八）aiohttp模块

requests.get() 是同步的代码，如何换成异步的操作？    借助 模块aiohttp（第三方库，需安装）

aiohttp是python的一个非常优秀的第三方异步http请求库，我们可以用aiohttp来编写异步爬虫（协程） 

安装：

pip install aiohttp --trusted-host pypi.tuna.tsinghua.edu.cn

代码框架：

import asyncio
import aiohttp

urls = [
    "",
    ""
]

# 异步下载
async def aiodownload(url):
    pass


async def main():
    tasks = []   # 添加下载任务
    for url in urls:
        tasks.append(aiodownload(url))
    await asyncio.wait(tasks)   # 等待所有任务下载完成


if __name__ == '__main__':
    asyncio.run(main())

例子： 

【唯美壁纸】桌面壁纸唯美小清新_唯美手机壁纸_电脑桌面壁纸高清唯美大全 - 优美图库

import asyncio   # 异步协程
import aiohttp   # 异步协程的http请求

urls = [    # 复制图片地址
    "http://kr.shanghai-jiuxin.com/file/2020/1031/191468637cab2f0206f7d1d9b175ac81.jpg",
    "http://kr.shanghai-jiuxin.com/file/2020/1031/563337d07af599a9ea64e620729f367e.jpg",
    "http://kr.shanghai-jiuxin.com/file/2020/1031/774218be86d832f359637ab120eba52d.jpg"
]

async def aiodownload(url):
    # 发送请求 ——> 得到图片内容 ——> 保存到文件
    '''
    s = aiohttp.ClientSession()  等价于  requests
    requests.get()    .post()
    s.get()   .post()
    '''
    name = url.rsplit("/", 1)[1]  # 从右边切, 切一次. 得到[1]位置的内容
    # 有了with会自动close
    async with aiohttp.ClientSession() as session:  # session对象相当于requests对象
        async with session.get(url) as resp:  # 发送请求，相当于resp = requests.get()
            # 请求回来了. 写入文件
            # 写入文件可以自己去学习一个模块aiofiles
            with open(name, mode="wb") as f:  # 创建文件
                # resp.content.read() 等价于 resp.content   读取图片
                # resp.text() 等价于 resp.text   读取文本，如页面源代码
                # resp.json() 等价于 resp.json()   读取json
                f.write(await resp.content.read())  # 读取内容是异步的. 需要await挂起
    print(name, "搞定")


async def main():
    tasks = []
    for url in urls:
        tasks.append(aiodownload(url))
    await asyncio.wait(tasks)


if __name__ == '__main__':
    asyncio.run(main())

运行后能爬下图片，但是代码会报错： 

将  asyncio.run() 改为 asyncio.get_event_loop().run_until_complete(main()) 即可。具体可参考下面这个帖子：

【Python自学笔记】asyncio.run()报错RuntimeError:Event loop is closed的原因以及解决办法_xiaoqiangclub的博客-CSDN博客_asyncio.run

if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

从最终运行的结果中能非常直观地看到用异步IO完成爬虫的效率明显高了很多 

（九）异步爬虫实战：扒光一本电子书

百度小说

右键 ——> 查看网页源代码，如图：

说明页面的数据是通过 ajax 异步操作返回的数据（第二次加载的），故 f12 ，点击页面上 “全部章节（共100章）” 后的 “查看全部”

# 所有章节的内容（名称、cid）
# 同步的方式即可
https://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}

随便点进某一回的链接，如图：

# 章节内部的内容
# 需要异步（100个章节即100个任务）
https://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","cid":"4306063500|1569782244","need_bookinfo":1}

思路：

  1. 同步操作：访问getCatolog  拿到所有章节的cid和名称
  2. 异步操作：访问getChapterContent  下载所有的文章内容

第一步：同步操作

怎么拿cid？

import requests

def getCatalog(url):
    resp = requests.get(url)
    dic = resp.json()
    for item in dic['data']['novel']['items']:  # item就是对应每一个章节的名称和cid
        title = item['title']
        cid = item['cid']
        print(title,cid)

if __name__ == '__main__':
    b_id = "4306063500"
    url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'
    getCatalog(url)

第二步：异步操作

每一个cid就是一个异步任务 

如何获取章节内容？

代码运行前，先创建一个文件夹，并把文件夹标记成 Excluded

# http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"4306063500"}  => 所有章节的内容(名称, cid)
# http://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","cid":"4306063500|11348571","need_bookinfo":1}  => 章节内部的内容

import requests
import asyncio
import aiohttp
import aiofiles  # 异步的文件读写
import json

"""
1. 同步操作: 访问getCatalog 拿到所有章节的cid和名称
2. 异步操作: 访问getChapterContent 下载所有的文章内容
"""


async def aiodownload(cid, b_id, title):
    data = {
        "book_id":b_id,
        "cid":f"{b_id}|{cid}",
        "need_bookinfo":1
    }
    data = json.dumps(data)    # 将对象变为json字符串
    url = f"http://dushu.baidu.com/api/pc/getChapterContent?data={data}"


    async with aiohttp.ClientSession() as session:   # 准备好session
        async with session.get(url) as resp:     # session发送请求
            dic = await resp.json()    # 从发送的请求里读取json
            async with aiofiles.open(title, mode="w", encoding="utf-8") as f:
                await f.write(dic['data']['novel']['content'])  # 把小说内容写出


async def getCatalog(url):
    # 同步（此时还没有其他任务会和该任务一起并行执行，所以完全没必要用异步）
    resp = requests.get(url)
    dic = resp.json()
    # 得到要的内容之后，再异步
    tasks = []
    for item in dic['data']['novel']['items']:  # item就是对应每一个章节的名称和cid
        title = item['title']
        cid = item['cid']
        # 准备异步任务
        tasks.append(aiodownload(cid, b_id, title))
    await asyncio.wait(tasks)


if __name__ == '__main__':
    b_id = "4306063500"   # 百度小说的书籍id
    url = 'http://dushu.baidu.com/api/pc/getCatalog?data={"book_id":"' + b_id + '"}'   # 首页url
    asyncio.get_event_loop().run_until_complete(getCatalog(url))

运行后，将产生的文件全部移入之前建立好的文件夹里

怎么一次性选中多个文件？

左键选中一个文件，按住Ctrl+Shift，选中想要范围内的文件

  

cheer_ego_
关注
  • 5
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
Python爬虫-使用python实现的超高速异步协程爬虫项目.zip
03-09
Python爬虫_使用python实现的超高速异步协程爬虫项目
Python—-多任务—-协程
12-22
Python学习之路，点击有全套Python笔记 协程是什么 简单点说协程是进程和线程的升级版,进程和线程都面临着内核态和用户态的切换问题而耗费许多切换时间,而协程就是用户自己控制切换的时机,不再需要陷入系统的内核态. 迭代器 迭代器就是用于迭代操作(for 循环的对象)，它像列表一样可以迭代获取其中的每一个元素，任何实现了__next__方法的对象都可以称为迭代器。 它与列表的区别在于，构建迭代器的时候，不像列表把所有元素一次性加载到内存，而是以一种延迟计算方式返回元素。它并没有把所有元素装在到内存中，而是等到调用next方法的时候才返回元素 生成器 方法一：把列表生成器的[]改成() 方法
Python 异步文件操作库之aiofiles使用详解
最新发布
Rocky006的博客
03-07 610
在异步编程中，文件操作是一项常见且重要的任务。Python提供了asyncio库来支持异步编程，但是在处理文件时，标准库中的文件操作函数并不支持异步操作。为了解决这个问题，出现了aiofiles库。本文将深入探讨aiofiles库的各个方面，包括其基本概念、功能、使用方法、应用场景以及示例代码。
python爬虫-超高速异步协程Python爬虫算法实现.zip
02-25
python爬虫_超高速异步协程Python爬虫算法实现.zip
05-多任务-协程（python和linux高级编程阶段 代码和截图）
01-22
05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（python和linux高级编程阶段 代码和截图）05-多任务-协程（
python3爬虫中异步协程的用法
12-17
1. 前言 在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请求的话，如果网站响应速度过慢，程序一直在等待网站响应，最后导致其爬取效率是非常非常低的。 为了解决这类问题，本文就来探讨一下 Python 中异步协程来加速的方法，此种方法对于 IO 密集型任务非常有效。如将其应用到网络爬虫中，爬取效率甚至可以成百倍地提升。 注：本文协程使用 async/await 来实现，需要 Python 3.5 及以上版本。 2. 基本了解 在了解异步协程之前，我们首先得了解一些基础概念，如阻塞和非阻塞、同步和异步、多进程和协程。
python爬虫 --协程
weixin_53333436的博客
06-30 606
协程，相较线程来说更加轻量级的；它不被操作系统的内核所管理，完全由程序所控制，不需要CPU内核的切换，也能实现并发。
Python爬虫之协程
AZURE060606的博客
01-23 1683
后，内部代码是不会执行的，只是得到了一个协程对象，如果想要运行协程对象，则必须将其交给事件循环来处理。包裹的协程任务遇到阻塞时会自动从当前任务切换到另一个任务中，以节省时间和内存。与python中常用的with open操作类似，并且支持异步操作，且与。关键字后面可以定义可等待对象，例如协程对象，Future，Task对象。：接受一个任务集合作为参数，并等待所有任务完成。：接受一个任务集合作为参数，并等待所有任务完成。：执行单个任务，返回每个任务的实际返回值。此处的可等待对象其实就是I/O阻塞，当。
爬取《西游记》小说所有章节内容
lilinfengzzz的博客
12-20 1217
爬取《西游记》小说所有章节内容
Python爬虫中的协程
什么时候才不是菜鸟....
01-02 1143
Python协程；爬虫；
『python爬虫』18. 协程（保姆级图文）
MZH
05-12 670
『python爬虫』18. 协程（保姆级图文）
Python中利用aiohttp制作异步爬虫及简单应用
12-24
摘要： 简介 asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架——aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。 简介 asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架——aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。 本文将会介绍a
【Python爬虫与数据分析】进程、线程、协程
phoenixFlyzzz的博客
07-05 3973
概述、进程的创建、线程的创建、协程的创建、全局变量的共享问题、消息队列与互斥锁、池化技术
python 爬虫之协程的使用
qq_53582111的博客
12-12 1135
# pip install aiohttp import aiohttp # 使用该模块中的ClientSession import asyncio header={ 'User-agent':'aaaaa' } async def test_header(): async with aiohttp.ClientSession(headers=header,cookies={'token':'123sd'}) as session: async with sessio.
asyncio异步编程
weixin_44132035的博客
09-17 722
1 协程 协程（Coroutine），也可以被称为微线程，是一种用户态内的上下文切换技术。简而言之，其实就是通过一个线程实现代码块相互切换执行。例如： def func1(): print(1) ... print(2) def func2(): print(3) ... print(4) func1() func2() 上述代码是普通的函数定义和执行，按流程分别执行两个函数中的代码，并先后会输出：1、2、3、4。
python3.9爬取诗词名句网西游记小说，可将每章节小说分别保存一个单独文件，也可将全部小说爬到一个文件里面分段落保存
km2955的博客
10-24 1401
具体代码详看代码块 现只说几点注意事项 一、首先寻找诗词名句网站 有两个： www.shicimingju.com/ http://mathfunc.com/ 第1个网址存在反爬机制，多次访问后将会禁止同一ip访问，第2个还行（建议使用第2个） 二、代码中写了两种遍历循环保存储正文方法，其中一种我注释了，各位可按需选择其中一种进行存储正文方法 （注意：选了其中一种之后要把另外一种方法注释掉） # -*- coding:utf-8 -*- import requests from bs4 import B
Python小爬虫之协程爬虫快速上手
`or 1 or 不正经の泡泡
03-04 2492
文章目录前言协程协程快速上手协程异步运行工作流程任务管理aiohttp异步保存异步回调 前言 爬虫是个好东西，最近要用用这玩意，所以顺便把以前的小东西给发出来，水几篇博客~ 协程 首先明确一点，线程不是多线程，线程本质上还是单线程，但是这个线程的特点是当当前线程进入到IO状态的时候，CPU会自动切换任务从而提高系统的整体运行效率。没错这个协程其实就和操作系统的多道处理机制是一样的。实现的效果有点类似使用多线程，或者线程池，但是协程是更加轻量级的，本质上就是一个单线程在来回切换。 协程快速上手 那么接下来我们
Python 多协程爬虫
Shinersmile的博客
01-09 600
当需要用多协程来爬取数据，创建大量任务时，可以借助gevent库中的queue模块。queue，就是队列的意思，可以用queue模块来存储任务，让任务变成一条有序的队列,这样协程就可以从队列中把任务提取出来执行，直到队列空了，任务也就处理完了。monkey，也叫猴子补丁，它能给程序打上补丁，让程序变成异步模式，而不是同步模式。gevent只能处理gevent的任务对象，不能直接调用普通函数，所以需要借助。1.4 创建任务以及执行任务。2.4 执行多协程任务。1.3 定义爬虫函数。2.3 定义爬虫函数。
【爬虫】利用协程爬取百度小说中的西游记
weixin_45788900的博客
08-09 1474
网址如下：http://dushu.baidu.com/pc/detail?gid=4306063500 小说采用异步加载的方式，返回的数据格式为json import requests import asyncio import aiohttp import os async def getPage(title, cid): url = 'http://dushu.baidu.com/api/pc/getChapterContent?data={"book_id":"4306063500","
python爬虫抓取图片-简单的python爬虫教程：批量爬取图片
05-19
好的，下面是一个简单的 Python 爬虫教程，可以批量爬取指定网站的图片： 首先，我们需要安装 requests 和 BeautifulSoup 这两个库。可以通过以下命令进行安装： ``` pip install requests pip install beautifulsoup4 ``` 接下来，我们需要编写代码。以下是一个示例代码，可以爬取指定网站的图片并保存到本地： ```python import requests from bs4 import BeautifulSoup import os # 爬取图片的网站 url = "https://www.example.com/" # 请求头，模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"} # 发送请求，获取网页内容 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") # 创建保存图片的文件夹 if not os.path.exists("images"): os.makedirs("images") # 遍历所有的图片标签，获取图片链接并保存到本地 for img in soup.find_all("img"): img_url = img.get("src") if img_url.startswith("http"): response = requests.get(img_url) with open("images/" + os.path.basename(img_url), "wb") as file: file.write(response.content) print("已保存图片：", img_url) ``` 在上述代码中，我们首先定义了要爬取的网站的 URL。然后，我们使用 requests 库发送一个 GET 请求，获取网页的 HTML 内容。接着，我们使用 BeautifulSoup 库对 HTML 进行解析，获取所有的图片标签。最后，我们使用 requests 库再次发送 GET 请求，获取图片的二进制数据，并保存到本地的 images 文件夹中。 注意，这里我们使用了一个 if 判断来过滤掉非 HTTP 开头的图片链接，以避免出现下载错误的情况。 为了更好的用户体验，代码中还加入了一些注释，方便大家理解。 希望这个简单的 Python 爬虫教程能对你有所帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cheer_ego_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值