Scrapy爬取妹子图详解
scrapy的安装此处不做详细介绍,网上有跟多教程,可以自己找一下,直接上代码。
先看一下我们要开始爬的页面,将地址栏中的地址复制,作为我们的起始爬取点,也就是scrapy中的start_urls,然后提取图片的地址,利用scrapy自有的ImagesPipeline进行下载图片。
拿到地址
代码编写
items.py
class MeizituItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
image_urls = scrapy.Field()
pipelines.py
class MeizituPipeline(object):
def process_item(self, item, spider):
return item