Python爬虫day8—Scrapy实战之爬图片并保存本地及mongodb

scrapy实战之网页动态加载

一、首先创建项目

scrapy startproject image360

二、然后创建爬虫

scrapy genspider image image.so.com

三、定义item

使用pycharm打开项目，定义ittem.py文件

import scrapy

class BeautyItem(scrapy.Item):
    title = scrapy.Field()
    tag = scrapy.Field()
    width = scrapy.Field()
    height = scrapy.Field()
    url = scrapy.Field()

四、编辑image蜘蛛文件

进入spider目录，编写爬虫。
* 动态网页获取url：

• 复制request url，在浏览器中打开获取到的是json数据：

• 格式化查看：

<