【spider】之 Scrapy初次体验

基本结构：
scrapy.cfg
tutorial:
　　 settings.py
　　 pipelines.py
　　 spiders/
　　 　 　 demz_spider.py
　　 items.py

上图是基本的结构
- scrapy.cfg：存储项目信息，表示这个tutorial是一个scrapy项目
- settings.py:全局配置文件
- pipelines.py:管道，负责过滤等操作
- spiders/：爬虫文件夹，这个允许存在多个爬虫，具体负责执行request需要爬的网址进行页面抓取并且返回response，最终和items进行相互抓取映射
- items.py：字典表，类似ORM类，负责保存需要抓取的字段

• 运行并保存数据到本地
  scrapy crawl dmoz -o items.json

——————
命令行工具：
在项目中创建一个新的爬虫：

scrapy genspider mydomain mydomain.com

• 全局命令（在system shell执行）
  
  • startproject：创建一个项目
  • settings
  • runspider
  • shell
  • fetch
  • view
  • version
• 项目命令（必须在具体项目中进行执行）
  
  • crawl：启动爬虫开始抓取
    
    • 语法: scrapy crawl <爬虫名称>
  • check：项目检查
    
    • 语法：scrapy check [-l] <爬虫名称>
  • list：列出项目中可用的爬虫
    
    • 语法：scrapy list
  • edit：编辑spider，没啥卵用
  • parse
  • genspider：在当前项目中创建爬虫
    
    • 语法：scrapy genspider [-t 模板名称]
      shell
$ scrapy genspider -l
Available templates:
basic：基本模板
crawl
csvfeed
xmlfeed

  • deploy
  • bench