最近在学scrapy爬虫框架,刚开始入门,写了个小项目,记录一下。
前面的不多说,直接就写一个小项目。小白入门学爬虫当然是学会爬图片,这也是最好入门的了,掌握python是前提了,能掌握基础就行。
好的,现在就直接上项目吧!!!
首先,是使用scrapy startproject meizitu(在命令行下)创建项目,因为我爬的是妹子图这个网站(海量美女图片啊,你肯定感兴趣的),他也比较好爬,所以项目名就叫它了。
创建项目后,就该创建自己的爬虫了。首先得进入meizitu这个文件夹下,使用scrapy genspider meizitu_spider www.meizitu.com
开始编写spider了。
# -*- coding: utf-8 -*-
import scrapy
from MeiZitu.items import MeizituItem #导入item(一个类字典的数据结构,可以按字典操作,在items.py文件下)用于保存需要提取的数据
class CrawlMeizituSpider(scrapy.Spider):
'''
爬虫类,执行爬取操作,生成item或再次发起请求request
'''
# allowed_domains