python使用scrapy_Python爬虫--Scrapy使用

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

1. 开始新建一个scrapy项目

切换到工作目录, 使用终端命令行执行命令

image.png

运行结束后scrapy会自动生成一下项目结构

image.png

其中框起来的文件不是自己生成的, 需要自己手动新建到spiders文件夹下面, 这个文件就是项目的爬虫文件了

2.爬虫代码的实现

1.爬虫文件

先来抓取网站meisupic.com的一个单一界面

# -*- coding: utf-8 -*-

from spiderTest.items import SpidertestItem

import scrapy

class ZhouSpider(scrapy.Spider):

name = 'zhou'

allowed_domins = ['meisupic.com']

baseURL = 'http://www.meisupic.com/topic.php?id=107'

start_urls = [baseURL]

download_delay = 2

def parse(self, response):

item = SpidertestItem()

srcs = response.xpath("//div[@id='searchCon2']/ul/li/a/img/@data-original").extract()

item['image_urls'] = srcs

yield item

其中需要导入item文件

然后用item里面的image_urls来接收所有返回的图片列表,注意需要yield列表而不是某一个URL地址.

2.item文件

import scrapy

class SpidertestItem(scrapy.Item):

# define the fields for your item here like:

image_urls = scrapy.Field()

image_paths = scrapy.Field()

images = scrapy.Field()

pass

3.pipelines文件

图片管道需要用到类ImagesPipeline

导入ImagesPipeline

具体代码如下:

from scrapy.pipelines.images import ImagesPipeline

from scrapy.exceptions import DropItem

import scrapy

class SpidertestPipeline(ImagesPipeline):

def get_media_requests(self, item, info):

for image_url in item['image_urls']:

yield scrapy.Request(image_url)

def item_completed(self, results, item, info):

image_path = [x['path'] for ok, x in results if ok]

if not image_path:

raise DropItem('Item contains no images')

item['image_paths'] = image_path

return item

刚才保存在item里的图片地址的列表就可以拿来下载图片了

4.settings文件

这里附上settings.py的部分设置:

BOT_NAME = 'spiderTest'

SPIDER_MODULES = ['spiderTest.spiders']

NEWSPIDER_MODULE = 'spiderTest.spiders'

MEDIA_ALLOW_REDIRECTS = True #因为图片地址会被重定向，所以这个属性要为True

IMAGES_STORE = "image" #存储图片的路径

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {

'spiderTest.pipelines.SpidertestPipeline': 1,

}

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'

FEED_EXPORT_ENCODING = 'utf-8'

3.启动爬虫

在工作目录使用命令行执行:

image.png

其中zhou是爬虫的名字 之前在这里设置的

image.png

执行完成后图片就保存在项目目录下的在settings.py里面设置的文件夹下了

image.png