【python爬虫学习笔记】二、Scrapy框架的基本使用

Scrapy项目的创建

1. 安装scrapy包
   pip install scrapy

2. 在Pycharm中使用命令行创建项目
   注意： 这里不要在创建好的python项目中新建，不然会遇到一些莫名其妙的bug
   scrapy startproject [项目的名称]
   

3. windows 下可以使用tree /F 命令查看目录
   

4. 在spiders目录下创建一个爬虫
   scrapy genspider[你的爬虫文件名] [限定爬虫的范围]
   

5. 测试运行

   	import scrapy
   	
   	
   	class SpidertestSpider(scrapy.Spider):
   	    # 爬虫名称
   	    name = 'spidertest'
   	    allowed_domains = ['quotes.toscrape.com']
   	    start_urls = ['http://quotes.toscrape.com/']
   	
   	    def parse(self, response):
   	        print(response.body)
   	        # pass
   

   测试检查爬虫，命令行输入：scrapy check spidertest
   
   运行爬虫：scrapy crawl spidertest