Scrapy爬虫

官网：https://scrapy.org/

scrapy用途广泛，可用于数据挖掘、监测和自动化测试。

安装方法：

https://docs.scrapy.org/en/latest/intro/install.html

将lxml、Twised、pyOpenSSL等都安装好后，执行 pip install scrapy   

安装好后，在cmd命令行下，执行scrapy会出现菜单：

想要创建爬虫项目，我们在该目录下G:\python\code\lesson9\scrapydemo

1.执行scrapy startproject + projname(想创建的工程名)

2.然后创建一个Spider（确定我们要爬的网址） :

 scrapy genspider +spidername(爬取Spider名) +"www.douban.com"（例如）

3.运行爬虫:scrapy crawl + spidername(爬取Spider名)

创建的工程目录结构如下:

spiders目录：爬虫脚本，负责解析文档，提取我们感兴趣的内容

items.py：数据格式的定义

pipeline.py:对我们爬到的感兴趣的内容进行持久化、保存 （它和spiders并不是耦合的是解耦的）

settings.py:各种配置