爬虫项目：scrapy爬取昵图网全站图片

最新推荐文章于 2024-08-05 10:37:56 发布

OnMy22

最新推荐文章于 2024-08-05 10:37:56 发布

阅读量4.9k

点赞数 3

分类专栏：项目文章标签： python scrapy

本文链接：https://blog.csdn.net/weixin_38654336/article/details/79616019

版权

本文详细介绍了如何使用Python的Scrapy框架爬取昵图网的全站图片。从创建项目、配置settings，到编写spider解析网页结构，再到设置pipeline下载图片，最后成功运行爬虫，获取高清图片。

摘要由CSDN通过智能技术生成

一、创建项目、spider，item以及配置setting

创建项目：scrapy startproject nitu

创建爬虫：scrapy genspider -t basic nituwang nipic.com

写个item：

# -*- coding: utf-8 -*-

import scrapy
class NituItem(scrapy.Item):
    url = scrapy.Field()

配置setting（重要！）：

1.首先打开User-Agent（反爬虫策略）：

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'

2.ROBOTSTXT协议改为False（主要是为了顺利获取图片）

3.打开pipeline：

关注

专栏目录