使用scrapy简单爬取图片并保存

最新推荐文章于 2024-07-19 14:23:02 发布

xia_mo_luo

最新推荐文章于 2024-07-19 14:23:02 发布

阅读量2.4k

点赞数 2

分类专栏： python爬虫 scrapy框架图片爬取

本文链接：https://blog.csdn.net/xia_mo_luo/article/details/78907824

版权

python爬虫 scrapy框架图片爬取专栏收录该内容

1 篇文章 0 订阅

订阅专栏

第一次写博客有什么需要改进的地方欢迎留言改进

本次代码运行是基于Linux系统 python3 scrapy框架运行

`1.先看结果`

2.接着上代码
spider

# -*- coding: utf-8 -*-
import scrapy


class Tu699Spider(scrapy.Spider):
    name = 'tu_699'
    allowed_domains = ['699pic.com']
    start_urls = ['http://699pic.com/people.html']

    def parse(self, response):
        li_list = response.xpath("//div[@class='swipeboxEx']/div")
        item = {}
        for li in li_list:
            # 获取图片url
            item["img_url"] = li.xpath("./a/img/@data-original").extract_first()
            # 获取图片名称
            item["img_name"] = li.xpath("./a/img/@title").extract_first()
            yield item
        # 获取下一页
        url = response.xpath("//a[@class='downPage']/@href").extract_first()
        # 判断是否为空
        if url is not None:
            # 下一页拼接
            next_url = "http://699pic.com/" + url
            # 发送下一页请求
            yield scrapy.Request(next_url, callback=self.parse)
 pipelines 
   
    
   # -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
import re
import requests

class XiaohuarPipeline(object):
    def process_item(self, item, spider): 
   	# 对图片的名称进行简单的处理 
           item["img_name"] = re.sub(r"图片下载", "", item["img_name"]) 
   	# 发送图片链接请求
        item["img"] = requests.get(item["img_url"]) 
   	# 保存
        name = "tu_699/" + item["img_name"] + ".jpg"
        with open(name, 'wb') as f:
            f.write(item["img"].content)
        return item
 
   
 settings 
   
  
    网站没有什么反扒措施 
   
  
    把ROBOTSTXT_OBEY该为False就好了 
  
 3.最后说明 
  
    刚学爬虫没多久 第一次尝试爬取图片 网上看其他人写的感觉有点复杂 直接自己安装思路写了个 路子有点野  还好完成了 有什么问题欢迎留言指出 共同进步（第一次写博客 比较渣 
   ）