Scrapy爬虫之网站图片爬取

已于 2023-08-29 14:14:31 修改
阅读量3.5k 收藏 25
点赞数 4
分类专栏： 习题集 文章标签： 爬虫 scrapy python
于 2022-09-13 11:31:41 首次发布
原文链接：https://blog.csdn.net/Junds0/article/details/126063784
版权
本教程介绍了如何使用Scrapy爬虫框架来抓取指定网站上的图片链接，并将这些链接保存到本地文件images.txt中。通过审查元素分析图片链接的规律，然后在eduSpider.py文件的parse函数中编写代码，实现图片链接的爬取和保存。完成代码后，平台会进行测试，预期输出为'爬取成功'。
摘要由CSDN通过智能技术生成

第1关：爬取网站实训图片的链接

任务描述
本关任务：使用Scrapy爬取给定网站的图片链接，并保存到本地。

编程要求
首先，通过审查元素，观察图片链接的代码规律；然后，点击代码文件旁边的三角符号，选择文件eduSpider.py，如下图所示。在 Begin-End 区间补充代码，使函数 parse 能够爬取图片链接，并保存到本地文件images.txt中。
在这里插入图片描述

注：本实训评测系统的开发环境均已配置好。

测试说明
平台会对你编写的代码进行测试（本次测试无输入）：

预期输出：

爬取成功
开始你的任务吧，祝你成功！

解析：
找到 代码文件 并点击，展开后长这个样子
在这里插入图片描述
点击 step1/web/index.html 后输入以下代码↓

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>花</title>
</head>
<body>
    <div class="box">
        
        <div>
            <a href="/static/app1/imgs/1.png" target="_blank">
                <img src="/static/app1/imgs/1.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/10.png" target="_blank">
                <img src="/static/app1/imgs/10.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/11.png" target="_blank">
                <img src="/static/app1/imgs/11.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/12.png" target="_blank">
                <img src="/static/app1/imgs/12.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/13.png" target="_blank">
                <img src="/static/app1/imgs/13.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/14.png" target="_blank">
                <img src="/static/app1/imgs/14.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/15.png" target="_blank">
                <img src="/static/app1/imgs/15.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/16.png" target="_blank">
                <img src="/static/app1/imgs/16.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/17.png" target="_blank">
                <img src="/static/app1/imgs/17.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/18.png" target="_blank">
                <img src="/static/app1/imgs/18.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/19.png" target="_blank">
                <img src="/static/app1/imgs/19.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/2.png" target="_blank">
                <img src="/static/app1/imgs/2.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/20.png" target="_blank">
                <img src="/static/app1/imgs/20.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/21.png" target="_blank">
                <img src="/static/app1/imgs/21.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/22.png" target="_blank">
                <img src="/static/app1/imgs/22.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/23.png" target="_blank">
                <img src="/static/app1/imgs/23.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/24.png" target="_blank">
                <img src="/static/app1/imgs/24.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/25.png" target="_blank">
                <img src="/static/app1/imgs/25.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/3.png" target="_blank">
                <img src="/static/app1/imgs/3.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/4.png" target="_blank">
                <img src="/static/app1/imgs/4.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/5.png" target="_blank">
                <img src="/static/app1/imgs/5.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/6.png" target="_blank">
                <img src="/static/app1/imgs/6.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/7.png" target="_blank">
                <img src="/static/app1/imgs/7.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/8.png" target="_blank">
                <img src="/static/app1/imgs/8.png" alt="未显示">
            </a>
        </div>
        
        <div>
            <a href="/static/app1/imgs/9.png" target="_blank">
                <img src="/static/app1/imgs/9.png" alt="未显示">
            </a>
        </div>
        
    </div>
</body>
</html>

接着点击 代码文件 ，找到点击 step1/mySpider/mySpider/spiders/eduSpider.py后 输入以下代码↓

# -*- coding: utf-8 -*-
import scrapy

class EduspiderSpider(scrapy.Spider):
    name = 'eduSpider'
    allowed_domains = ['127.0.0.1']
    start_urls = ['http://127.0.0.1:8080/imgs/']

    def parse(self, response):
        #********** Begin **********#
        with open('images.txt','w') as f:
            img=response.xpath("//div[@class='box']/div/a/img/@src")
            f.write("{}\n".format(img))
        
        #********** End **********#

点击右下角 自测运行
在这里插入图片描述

提交即可

微__凉
关注
专栏目录
订阅专栏
【educoder实训答案】Scrapy爬虫之网站图片爬取
weixin_44949187的博客
05-08 3895
第1关：爬取网站实训图片的链接 # -*- coding: utf-8 -*- import scrapy class EduspiderSpider(scrapy.Spider): name = 'eduSpider' allowed_domains = ['127.0.0.1'] start_urls = ['http://127.0.0.1:8080/imgs/'] def parse(self, response): #********** Beg
网络爬虫之Scrapy实战四：爬取网页下载图片
06-09 8536
本节介绍了如何利用scrapy下载网页上的图片
入门级小白超实用的python爬虫爬取网页图片
最新发布
m0_64031432的博客
09-12 3997
基于python爬虫，快速获取你想要要数据：歌曲，图片，文案等超多网页数据。本文将概述如何构建一个简单的Python爬虫，该爬虫能够从网页上识别并下载图片。
爬虫 - Scrapy图片爬取
qq_33962481的博客
05-07 354
文章目录一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings('igno
scrapy爬虫之网站图片爬取
sun13212715744的博客
10-21 1698
替换your_project_name为您的项目名称，YourImagesPipeline为自定义的Item Pipeline（用于保存图片），path_to_download_directory为您要保存图片的本地目录。创建一个自定义的Item Pipeline，以处理和保存下载的图片。您可以在Scrapy项目中创建一个新的Python文件并编写Item Pipeline的代码。将"your_spider_name"替换为您喜欢的名称，"example.com"替换为您要爬取图片的网站域名。
Scrapy—ImagesPipeline
qq_43401941的博客
10-19 1334
图片数据爬取之ImagesPipeline 基于scrapy爬取字符串类型的数据和爬取图片类型的数据的区别？ 字符串：只需要基于xpath进行解析且提交管道进行持久化存储 图片：xpath解析出图片src的属性值。单独的对图片地址发起请求获取图片二进制类型的数据 ImagesPipeline： 需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制类型的数据，且还会进行持久化存储 需求：爬取站长素材中的高清图片 网页中的图片使用了懒加载方式，
爬虫之利用Scrapy进行图片的爬取
weixin_46297209的博客
12-07 2669
爬虫之利用Scrapy进行图片的爬取 一：Scrapy自带管道方法爬取 创建爬虫文件 scrapy genspider image360 image360.com 修改配置文件settings.py 配置文件中的图片管道类是scrapy自定义好的，不需我们编写，直接用就行了 ITEM_PIPELINES = { # 'reptile.pipelines.ReptilePipeline': 300, 'scrapy.pipelines.images.ImagesPipeline'
Scrapy爬取美女图片 (原创)
七夜的博客
04-24 1054
 　　有半个月没有更新了，最近确实有点忙。先是华为的比赛，接着实验室又有项目，然后又学习了一些新的知识，所以没有更新文章。为了表达我的歉意，我给大家来一波福利。。。（我的新书《Python爬虫开发与项目实战》出版了，大家可以看一下样章）         今天咱们说的是爬虫框架。之前我使用python爬取慕课网的视频，是根据爬虫的机制，自己手工定制的，感觉没有那么高大上，所以我最近...
Scrapy爬取图片教程
热门推荐
weixin_41122339的博客
06-28 1万+
一、使用爬虫框架scrapy爬取图片 上次我们爬取过文本、文字、的一些普通数据，现在我们就可以学习爬图片了，一些段友就可以爬自己想要的图片了，哈哈哈哈。 首先我们先大概总结一下scrapy爬虫的原理流程，先看图： 首先翻译一下上面的英文： Scrapy是一种用于抓取Web站点和提取结构化数据的应用程序框架，用于数据挖掘……最初是为Web刮取而设计的，现在可以用来使用API（如Amazo...
用scrapy爬取下载某图片网站的全部图片
08-20
用scrapy爬取下载某图片网站的全部图片。代码中已经去除了具体网站的信息，代码只供学习用。
scrapy爬虫之热门网站数据爬取
01-30
scrapy爬虫之热门网站数据爬取 1、很详细地完成了对scrapy的使用 2、其中有对正则表达式的详细使用 3、有对xpath和css选择器的使用 4、有对scrapy中的item、pipeline等类的修改和使用.zip
基于scrapy对网站的图片进行爬取
Rosemajor的博客
04-16 453
创建项目的过程我们这里就不讲了，上一篇讲了 ImagesPipeline特点： 将下载图片转换成通用的JPG和RGB格式 避免重复下载 缩略图生成 图片大小过滤 这里我直接给大家看一下，项目的目录结构 在爬取之前我们需要将settings里面的数据修改一下 settings.py #在设置里面添加 不用打印所有的日志，只打印报错信息 LOG_LEVEL='ERROR' #将这个的True改成False ROBOTSTXT_OBEY = False #将管道传递出去存储数据的注释
头歌实训答案:Scrapy爬虫之网站图片爬取
qq_53776431的博客
06-20 6393
Scrapy爬虫之网站图片爬取
scrapy爬取图片
qq_45895217的博客
10-01 680
使用scrapy爬取图片，采用管道方法进行下载。
用scrapy抓取网站图片
weixin_34049948的博客
04-30 140
学习Python，就避免不了爬虫，而Scrapy就是最流行的一个。你可以爬取文字信息（如招聘职位信息，网站评论等），也可以爬取图片，比如看到一些好的网站展示了很多精美的图片（这里只用作个人学习Scrapy使用，不作商业用途），可以download下来。好了，不多说，现在开始一个最简单的图片爬虫。 首先，我们需要一个浏览器，方便查看html路径，这里推荐使用火狐开发者版（https://www.mo...
怎么用Scrapy爬取网站图片？
cnfengzheng的博客
07-19 977
使用Scrapy爬取网站图片并下载（使用XPATH路径来获取图片链接）。 对爬取成功的图片连接入库。
怎么使用scrapy爬取网站上的图片
weixin_35754676的博客
12-17 253
Scrapy是一个Python编写的爬虫框架，可以帮助你轻松地爬取网站上的数据。如果你想使用Scrapy爬取网站上的图片，可以这样做： 安装Scrapy：在命令行中输入 pip install scrapy 即可安装Scrapy。 创建Scrapy项目：在命令行中输入 scrapy startproject myproject 即可创建一个名为myproject的Scrapy项目。 创建爬虫...
头歌scrapy爬虫之网站图片爬取答案
11-27
以下是使用Scrapy爬虫框架进行网站图片爬取的步骤： 1. 创建Scrapy项目 在终端中输入以下命令创建一个名为“image_spider”的Scrapy项目： ``` scrapy startproject image_spider ``` 2. 创建爬虫 在终端中进入项目目录，执行以下命令创建一个名为“image”的爬虫： ``` cd image_spider scrapy genspider image example.com ``` 3. 编写爬虫代码 打开spiders/image.py文件，将以下代码复制进去： ```python import scrapy class ImageSpider(scrapy.Spider): name = 'image' allowed_domains = ['example.com'] start_urls = ['http://example.com/'] def parse(self, response): for img in response.css('img'): yield {'image_url': img.xpath('@src').get()} ``` 这个爬虫会爬取example.com网站上的所有图片，并将图片链接保存到一个字典中。 4. 运行爬虫 在终端中进入项目目录，执行以下命令运行爬虫： ``` scrapy crawl image -o images.json ``` 这个命令会将爬取到的图片链接保存到一个名为“images.json”的文件中。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值