爬取图片操作（从指定网页中提取图片地址并下载保存图片）

已于 2023-10-07 11:18:51 修改
阅读量4k 收藏 8
点赞数 7
文章标签： python 大数据
于 2023-10-06 19:43:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73862068/article/details/133618057
版权
本文介绍了如何使用Python编写一个简单的爬虫，通过get_html函数获取网页源代码，解析图片URL，利用requests获取图片二进制内容，然后保存到本地。主要涉及到了网络请求、HTML解析和文件操作等技术。
摘要由CSDN通过智能技术生成

目录

代码逻辑

详细操作步骤

导入相应的库

获取网络的源代码

提取图片的源地址

获取图片的二进制源码

​保存图片

定义main函数调用get_html函数

使用for循环便利列表

执行main函数

运行效果

代码逻辑

在主程序中，你可以调用上述函数来实现功能：

  • 调用get_html函数获取指定网址的源代码。
  • 将源代码传入parse_pic_url函数，获取图片的源地址列表。
  • 遍历图片源地址列表，在每个地址上调用get_pic_content函数获取图片的二进制源码。
  • 将二进制源码和图片文件名传入save_pic函数，保存图片到本地。

需要注意的是，程序中假设要保存的图片都是jpg格式，并将保存的路径设为"大熊猫/"下。如果你要使用该程序，请确保已经创建了一个名为"大熊猫"的文件夹，并提供正确的网址和头部信息。

如果你已经在代码中定义了main函数，可以取消注释if __name__ == '__main__':这一行代码，并在该行代码之后调用main函数，以执行整个程序。

详细操作步骤

导入相应的库

导入了requests、re和os库，用于发送网络请求、进行正则表达式匹配和进行文件操作。


获取网络的源代码

定义get_html函数：该函数用于发送网络请求并返回网页的源代码。它接收两个参数，url表示要请求的网址，headers表示请求时的头部信息。函数发送GET请求，并设置编码为utf-8，如果请求成功则返回源代码，否则打印出错信息。


提取图片的源地址

定义parse_pic_url函数：该函数用于从网页源代码中提取图片的源地址。它接收一个参数，html表示网页的源代码。函数使用re.findall函数和正则表达式来匹配这段源代码中的图片地址信息，并将匹配结果返回。


获取图片的二进制源码

定义get_pic_content函数：该函数用于获取图片的二进制源码。它接收一个参数，url表示图片的地址。函数使用requests库发送GET请求获取图片的内容，并返回其二进制源码。


保存图片

定义save_pic函数：该函数用于保存图片。它接收两个参数，content表示图片的二进制源码，pic_name表示要保存的图片文件名。函数使用with open语句打开一个文件，以二进制写入模式写入图片内容，并关闭文件。


定义main函数调用get_html函数

  1. 调用get_html函数获取指定网址的源代码，并将返回结果赋值给变量html。

  2. 调用parse_pic_url函数，将html作为参数传入，提取出图片的源地址列表，并将返回结果赋值给变量result。

  3. 初始化变量pic_name为0。

那么url和headers内容怎么写？这里以爬取大熊猫图片为例，搜索后单击右键，再点击检查，出来下图，如果里面没有内容就刷新一下或把网页往下拉就会有了

按上图顺序点击，出现下图


使用for循环便利列表

  1. 使用for循环遍历result列表中的每个图片源地址。

  2. 在循环内部，首先调用get_pic_content函数，将item（图片源地址）作为参数传入，获取图片的二进制源码，并将返回结果赋值给变量pic_content。

  3. 调用save_pic函数，将pic_content和pic_name作为参数传入，保存图片到本地。

  4. 增加pic_name的值，用于标识不同的图片。

  5. 打印"正在保存第 x 张图片"的提示信息


执行main函数

如果尚未定义main函数，可以注释掉该行代码

运行效果

希望上文能对大家有所帮助，谢谢观看！

行走的表情包2333
关注
网页上的图片怎么提取出来_如何快速提取网页素材图片，让PPT的配图更酷炫!...
weixin_39625586的博客
12-18 6001
问题提出做PPT的时候，你还在用百度图片搜索吗？搜到的图片往往是也这样的。要么有水印，或像素太低，或者是不是png格式，有背景无法删除既不美观，也不方便下面就教你怎么用插件提取网页上的高质量图片。第1步：下载安装360安全浏览器(或者其他chrome内核浏览器)输入：chrome://myextensions/extensions/第2步：拉到页面底端，找到“获取更多扩展程序”并点击第3...
网页图片抓取小工具
04-06
用python完成的网页爬取图片的小工具，具有图形界面，已用py2exe打包为win环境下可直接执行，无需安装python环境。
爬虫----爬取网页图片（以大熊猫为例）
m0_74427034的博客
10-06 1709
其中 utf-8为源代码的中文编码，response.status_code==200 表示网站源代码获取正确。2.然后点击网络-fetch-标头-请求url--再复制其路径。要重点关注这个“thumbURL”可根据这个找到图片的网址。使用一个for循环遍历列表 自动爬取图片。4.点击负载--将其下面的内容复制下来。以上就是如何爬取图片的全部内容。创建一个文件夹目录 保存图片。五.定义一个新建文件夹程序。七. 定义一个main函数。3.再将其请求标头复制下来。四.获取图片的二进制码。三.提取图片的源地址。
2.网页获取图片——代码理解
最新发布
2201_75994883的博客
08-14 663
meal_pic=food07.jpeg，项目启动时，加载页面发起Get请求，后端代码执行相关程序，变量meal_pic的图片信息就可以被后端代码获取到，进行IO操作，前端获取到图片。在启动项目的初始路径后加上，定义的路径，输入指定图片的名字会可以实现图片的下载，大概就是处理客户端的http请求，发送图片给客户端。加上定义路径以及图片参数信息：http://localhost:8080/meal/pic?在初始路径下加上定义的路径，加上图片的参数，回车。/meal/pic是我们定义的路径。
获取网页内所有图片地址
和谐的望天
09-12 2716
打开页面，当页面全部载入完毕后，从地址栏 运行，以下code中的javascript:.........那个即可。。 window.onload = function () {    (function (is) {        var i, r = /"([^"]+)"/, o = {}, a = [];        for (i = 0; i             if (is[
提取页面图片地址
yyixin的专栏
11-02 798
string htmlimg = FCKeditor1.Value;        MatchCollection mc = Regex.Matches(htmlimg, @""]*(?[^/s""]*)[^>]*>", RegexOptions.IgnoreCase);               string[] imgUrls = new string[mc.Count]
网页图片提取-免费在线任意网页图片提取软件
qq_787143156的博客
10-20 3759
之所以存在HITS算法，是因为搜索引擎需要在全球所抓取的网页文档集合当中找到与用户搜索请求查询词匹配度与之相关最高的页面进行符合匹配，而这里的匹配度相关最高的则是一些高质量的“Authority”页面和“Hub”页面，而不是大家常常理解的站内文章优质原创等因素。比如360导航网站的某一个站点类型的聚合页面，再比如网站分类目录中的某一个站点类型的聚合页面，这些都属于枢纽页面，但是枢纽页面也会分为高质量枢纽页面和一般性枢纽页面。深刻的理解了这些含义以后，然后我们借助一些特定的实验来验证HITS的效果和实用性。
通过网页获取图片操作步骤
qq_52622178的博客
03-20 1万+
网页取图操作步骤 第一步： 打开浏览器，点击右键，点击检查 第二步： 点击下图中圈起来的箭头，需要网页中的你哪张照片，就将鼠标移到那张图片上面去。 第三步： 找到需要的那张图片的引入路径，鼠标右击，点击open in new tab. 第四步： 将图片另存为自己的电脑上即可。 ...
Python3直接爬取图片URL并保存示例
09-18
接下来会介绍如何提取网页中的图片URL，并演示如何将这些图片保存到本地硬盘上。此外，还会涉及到异常处理和重连机制的实现，最后简单介绍一下修饰器模式以及它在函数计时中的应用。 首先，爬虫是指通过编写程序...
scrapy爬取cosplay图片并保存到本地指定文件夹
12-21
运行 `scrapy crawl cosplay_crawl` 命令启动爬虫，它将自动抓取图片信息，处理数据，并将图片保存到本地指定的文件夹中。在实际应用中，你可能需要根据目标网站的具体结构调整 CSS 选择器，以确保正确地提取数据和...
Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
09-20
而Scrapy是一个快速、高层次的网页爬取和网页抓取框架，用于抓取web站点并从页面中提取结构化的数据。它的设计是为了使开发者能快速、轻松地爬取网站数据，不用担心网络请求、数据解析、持久化存储等繁琐步骤。 在...
网页图片抓取工具(GetWebPic)
05-04
用于网页图片抓取工具(GetWebPic)
抓取网站图片
01-04
抓取网页图片，将网站上的图片批量抓取放到本地，完成需求。
根据url下载图片
11-04
根据输入url进行图片下载，由于内置工具版本较低不支持flash 使用方法：解压后点击run.bat文件即可 代码比较粗糙但是几万图片截取没问题
python3 爬取图片的实例代码
09-19
5. 循环中的`try`块用于尝试下载和保存图片，如果出现异常，会捕获异常并跳过当前图片，继续尝试下载列表中的下一个图片。 最后，代码通过调用`get_image(url)`函数来获取图片URL列表，然后调用`save_img(imglist)`...
python爬取一张图片并保存_第九讲：Python爬取网页图片并保存到本地
weixin_39541212的博客
11-20 720
上一讲我们说了如何把网页的数据通过分析后存储到数据库，我们这次讲如何将网页上的图片提取并下载到本地。思路如下：我们本次要爬取的是昵图网首页的图片。1、首先分析我们要爬取的网页的代码结构，每个网页的代码结构都不大一样，所以要做好分析。我们进入昵图网的首页，http://www.nipic.com/index.html按F12开启浏览器的调试模式，可以通过鼠标看到图片的后台代码：点击调试的小箭头，然后...
怎么用python爬图_怎么Python爬百度图片，功能一步到位！！！,如何,爬取,函数
weixin_35910782的博客
01-14 1021
def tp(tp=None):import reimport requestsimport jsonimport osos.makedirs("C:\\Users\\admin\\Desktop\\"+tp)#换成自己的路径h={'Cookie':'winWH=%5E6_1920x969; BDIMGISLOGIN=0; BDqhfp=%E4%B8%96%E7%95%8C%E5%90%8D%E7...
python爬虫入门教程：爬取网页图片
xiangxueerfei的博客
07-20 3262
在现在这个信息爆炸的时代，要想高效的获取数据，爬虫是非常好用的。
网页上的图片怎么提取出来_如何在网站上提取图片素材
热门推荐
weixin_39928736的博客
12-10 1万+
不知道你们有没有遇到这种情况，在上午的过程中看见了一些比较看到的照片素材，想要右键保存一下发现保存不了；看见一个网站的网站大图很漂亮，想扣出来保存一下，发现点击不到自己想看的图片。这篇教程也许可以帮到你解决这些问题。首先我们打开一个网站，“相中”了一张图片。这里我用1688店铺为例。我要去提前出这张照片，我们应该怎么做呢？跟着我的动作一起来~第一步：按下F12，这时候会跳出一个窗口；如下图所见。第...
抓取网页图片node.js
03-19
在Node.js中，你可以使用一些库来抓取网页图片。其中比较常用的是`request`和`cheerio`库。 首先，你需要安装这两个库。可以使用以下命令来安装它们： ``` npm install request cheerio ``` 接下来，你可以使用以下代码来抓取网页图片： ```javascript const request = require('request'); const cheerio = require('cheerio'); const fs = require('fs'); // 定义要抓取的网页URL const url = 'https://example.com'; // 发起HTTP请求获取网页内容 request(url, (error, response, body) => { if (!error && response.statusCode === 200) { // 使用cheerio解析网页内容 const $ = cheerio.load(body); // 获取所有图片元素 const images = $('img'); // 遍历图片元素并下载图片 images.each((index, element) => { const imageUrl = $(element).attr('src'); downloadImage(imageUrl); }); } }); // 下载图片函数 function downloadImage(imageUrl) { // 发起HTTP请求下载图片 request(imageUrl) .pipe(fs.createWriteStream('image.jpg')) .on('close', () => { console.log('图片下载完成'); }); } ``` 上述代码中，我们首先使用`request`库发起HTTP请求获取网页内容。然后使用`cheerio`库解析网页内容，通过选择器获取所有图片元素。接着，我们遍历图片元素，并使用`request`库发起HTTP请求下载图片，并将其保存到本地。 请注意，上述代码只是一个简单的示例，你可能需要根据实际情况进行适当的修改和优化。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值