创建scrapy爬虫项目

1.创建爬虫项目 : 
                win+r 进入cmd模式 在python_demo1 文件夹下使用:
                scrapy startproject 项目名
                注意:项目名不允许使用数字开头 也不能包含中文
2.创建爬虫文件 :
                在spiders文件夹中去创建爬虫文件
                cd 项目名\项目名\spiders
                cd scrapy_baidu_091\scrapy_baidu_091\spiders

                创建爬虫文件
                scrapy genspider 爬虫文件的名字 要爬取的网页
                scrapy genspider baidu http://www.baidu.com
3.运行爬虫代码
                scrapy crawl 爬虫的名字
                scrapy crawl baidu
https://www.baidu.com/robots.txt
setting 里面注释掉robots  他是一个君子协议