scrapy爬取昵图网图片

最新推荐文章于 2022-07-19 12:00:00 发布
最新推荐文章于 2022-07-19 12:00:00 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： python 文章标签： 爬虫 python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ygengleman/article/details/72773516
版权
本文介绍了如何使用Scrapy框架爬取昵图网上的设计、摄影和多媒体三个一级菜单下的大图片。首先，通过`scrapy startproject`和`scrapy genspider`创建项目和爬虫文件。接着，分析爬取思路，包括获取一级菜单URL、二级菜单URL、分页页码以及图片路径。最后，讨论了在爬取过程中如何模拟浏览器、处理cookie以及利用pipelines进行图片下载。
摘要由CSDN通过智能技术生成

一 : 创建scrapy项目
(1) 使用命令创建项目 : scrapy startproject nipic[项目名可以随意]
(2) 使用命令创建一个爬虫文件 : scrapy genspider -t basic np nipic.com
参数说明:
-t basic : 使用basic模版创建文件
np : 创建的爬虫文件名
nipic.com : 要爬取网站的域名(本次爬取的是昵图网)
(3) 项目结构图
项目结构
二 : 爬取思路分析
(1) 打开昵图网首页, 找到一级导航菜单
首页导航图
备注 : 本次爬取我们只爬取 设计, 摄影, 多媒体 三个一级菜单
(2) 我们用工开发者工具获取到这三个一级菜单的url

(3) 我们点击一级菜单获取到它所对应的二级菜单url
二级菜单
二级菜单的url
(4) 我们随便点击一个二级菜单回进入菜单列表页, 此时我们需要获取分页页码, 进而可以爬取每一页的图片
页码url
(5) 获取每一页的图片(此次爬取我们只爬取大图片), 我们点击小图片会进入的大图片,然后获取大图片的路径
(6) 开始爬取并下载到本地

最低0.47元/天 解锁文章
YuDC
关注
专栏目录
爬虫项目：scrapy爬取昵图网全站图片
weixin_38654336的博客
03-19 4910
一、创建项目、spider，item以及配置setting创建项目：scrapy startproject nitu创建爬虫：scrapy genspider -t basic nituwang nipic.com写个item：# -*- coding: utf-8 -*- import scrapy class NituItem(scrapy.Item): url = scrapy.F...
Scrapy框架爬取昵图网图片
Gavin_CHEN929的博客
11-20 3492
这是第一篇博文，小白学习Python快一个月。从上周开始学习CSDN的韦玮老师的《Python大型网络爬虫实战课》。第一节课讲授大型图片网站的图片爬取，老师以千图网为例，讲解基于Scrapy爬取一般图片网站的流程和方法。 Scrapy 图片爬虫构建思路为： 1. 分析网站 2. 选择爬取方式和策略 3. 创建爬虫项目--》定义items 4. 编写爬虫文件 5. 调试pipelines
昵图网图片爬取.py
07-25
本程序是用来下载图片的，程序可从一个网站爬虫获取你想要的图片。~~~~~~~~~~~~~~~~~~~~~~~~
Java实现昵图网摄影图片爬虫
Birldlee的博客
12-26 1402
使用Java编程，利用Java的爬虫技术获取爬去昵图网上的图片，并按目录储存下来。
爬取昵图网
baixiao8958的博客
07-23 1506
一、爬取昵图网 import re import requests """ @author RansySun @create 2019-07-22-11:19 """ # 请求链接地址 response = requests.get('http://www.nipic.com/design/acg/renwu/index.html?page=1') data = response.tex...
05 爬虫应用（2）——抓取昵图性感美女图片（针对传统翻页图片版本）
不管风雨有多少丶的博客
03-20 519
import requests import re, os import time, datetime MaxSearchPage = 20 CurrentPage = 1 DefaultPath = 'pictures' NeedSave = 0 headers = { 'User-Agent': 'Mozilla/5.0(Windows NT 6.1; WOW64; rv:31.0)...
Scrapy爬取新浪微博用户信息、用户微博及其微博评论转发
05-27
在本项目中，我们利用Scrapy来爬取新浪微博的用户信息、用户的微博内容以及这些微博的评论和转发，这涉及到网络爬虫的基本原理、Scrapy组件的使用、网页解析以及数据存储等多个知识点。 首先，了解网络爬虫的基本...
scrapy爬取cosplay图片并保存到本地指定文件夹
12-21
在这个场景中，我们讨论的是如何使用 Scrapy 来爬取 cosplay 相关的图片，并将它们保存到本地的指定文件夹。下面将详细解释整个过程。 1. **创建 Scrapy 项目**： 首先，你需要通过命令行创建一个新的 Scrapy 项目...
怎么用Scrapy爬取网站图片？
cnfengzheng的博客
07-19 956
使用Scrapy爬取网站图片并下载（使用XPATH路径来获取图片链接）。 对爬取成功的图片连接入库。
爬虫爬取网站图片并存取到指定目录
04-13
py文件，直接可以运行，可从控制台和Pycharm打开，有详细的注释，基础学习练手的最佳实例
python 抓取一个网站所有图片并保存
07-27
python 抓取一个网站所有图片并保存
Python爬虫文件：爬取图片的程序.py
05-01
Python爬虫文件：爬取图片的程序.py Python爬虫文件：爬取图片的程序.py
用scrapy爬取下载某图片网站的全部图片
08-20
本教程将详细介绍如何使用Scrapy来爬取并下载一个图片网站的所有图片。首先，我们需要理解Scrapy的基本架构，包括项目结构、爬虫定义、中间件、下载器及存储策略。 1. **Scrapy项目创建**： 在开始之前，确保已经...
昵图网，图片名加张数，加图片爬虫
daerwenke的博客
06-18 408
import requests from lxml import etree title=[] src_url=[] for i in range(5): headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.106 Safari/537.36'} url='https://www.nipic.com/d.
python中使用requests库获取昵图网图片，且正则中re.S的用法
weixin_43920952的博客
02-01 857
python中使用requests库获取图片，且正则表达式中re.S的用法以及r.text和r.content的区别和搜索关键词 这里我获取的是昵图网的图片 代码附上 这里我获取的是2020的图片 import re import requests url="http://soso.nipic.com/?q=2020" r=requests.get(url) html=r.text listm=r...
Python多线程爬取图虫网
人生苦短， 还不用Python？
08-29 262
起始页面 https://tuchong.com/explore/ 这个页面中有很多的标签，每个标签下面都有很多图片，为了和谐，我选择了一个非常好的标签花卉 你可以选择其他的，甚至，你可以把所有的都爬取下来。 https://tuchong.com/tags/%E8%8A%B1%E5%8D%89/ # 花卉编码成了 %E8%8A%B1%E5%8D%89 这个无所谓 我们这次也玩点以前没写过...
python爬取一张图片并保存_第九讲：Python爬取网页图片并保存到本地
weixin_39541212的博客
11-20 718
上一讲我们说了如何把网页的数据通过分析后存储到数据库，我们这次讲如何将网页上的图片提取并下载到本地。思路如下：我们本次要爬取的是昵图网首页的图片。1、首先分析我们要爬取的网页的代码结构，每个网页的代码结构都不大一样，所以要做好分析。我们进入昵图网的首页，http://www.nipic.com/index.html按F12开启浏览器的调试模式，可以通过鼠标看到图片的后台代码：点击调试的小箭头，然后...
Python3爬取网页中图片（2021-01-04 14:06:02），附上完整代码
小哈力----一个小前端工程师
11-22 514
Python爬取网页中图片，附上完整代码 概述 批量爬取数据，请遵循robots协议及相关网站协议及说明。 本代码仅供有需要爬取网页中图片的人参考。 本代码测试于：2020-11-22 21:39:56 说明： 本代码使用的python3.8 本代码只能爬取静态页面中的图片，即img标签是写到html静态页面里面的，而不是后期通过vue等js框架渲染的（判断是否满足条件：请右键查看代码源文件，看源码内是否存在所需要爬取的img标签src路径）。 本代码的正则表达式是依据特定的百度图片网页写的，爬取其他网页
scrapy 爬取图片
最新发布
09-23
Scrapy是一个强大的Python爬虫框架，可以用于抓取Web站点上的各种数据，包括图片。下面是使用Scrapy爬取图片的步骤： 1. 首先，安装Scrapy库，可以使用pip命令进行安装：pip install scrapy 2. 创建一个新的Scrapy项目，可以使用命令：scrapy startproject project_name 3. 进入项目目录，创建一个新的Spider，可以使用命令：scrapy genspider spider_name website_url 4. 打开新创建的Spider文件，找到其中的parse方法，该方法用于处理每个响应页面的逻辑。 5. 在parse方法中，使用XPath或CSS选择器来定位图片元素，提取图片的URL。 6. 使用Scrapy的内置下载器来下载图片，可以使用命令：yield scrapy.Request(image_url, callback=self.save_image) 7. 在save_image方法中，可以将下载的图片保存到本地磁盘或者其他位置。 这样，就可以使用Scrapy来爬取图片了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值