scrapy实战之网页动态加载
一、首先创建项目
scrapy startproject image360
二、然后创建爬虫
scrapy genspider image image.so.com
三、定义item
使用pycharm打开项目,定义ittem.py文件
import scrapy
class BeautyItem(scrapy.Item):
title = scrapy.Field()
tag = scrapy.Field()
width = scrapy.Field()
height = scrapy.Field()
url = scrapy.Field()
四、编辑image蜘蛛文件
进入spider目录,编写爬虫。
* 动态网页获取url:
- 复制request url,在浏览器中打开获取到的是json数据:
- 格式化查看:
<