scrapy野蛮式爬取（将军CrawlSpider，军师rules）

    如果将Spider比作scrapy爬虫王国的一个元帅，那CrawlSpider绝对是元帅手底下骁勇善战的将军。而其rules，便是善于抽丝剥茧的军师。

以下便记录以下一个CrwalSpider的作战过程。

1、    首先创建scrapy项目

                                       python      -m      scrapy   startproject    项目名称

2、    创建CrawlSpider

                                       python       -m      scrapy genspider    -t    crawl     蜘蛛名     域名

    python     -m  详细内容可见                https://zhuanlan.zhihu.com/p/91120727

此时我们便已经创建好了基础的CrawlSpider