在进行scrapy爬虫和scrapy-redis爬虫时会用到的命令总结

1.创建一个scrapy工程

cd
scrapy startproject baidu
cd
scrapy genspider 爬虫名字 域名
scrapy crawl 爬虫的name

2.在scrapy爬虫获取到数据以后对数据的保存

scrapy crawl 爬虫的name -o 文件名.文件格式（比如xml json csv）
scrapy crawl 爬虫的name -o 文件名.json -s FEED_EXPORT_ENCODING=UTF-8（防止json格式乱码）

3. scrapy-redis爬虫启动服务器命令

cd C:\Users\Administrator\Desktop\redis
redis-server redis.windows.conf

4.启动爬虫命令的终端窗口命令

cd C:\Users\Administrator\Desktop\redis
redis-cli
lpush mycrawler:start_urls https://github.com/rmax/scrapy-redis.git

5.由一人开启服务器，其余人链接服务器，进行分布式爬虫

在 settings.py中添加REDIS_URL='redis://root:@192.168.52.108:6379' 后面是IP地址和端口
打开redis文件中的redis.windows.conf找到第56行注销在57行写bind 192.168.52.108（主机的ip）保存
主从服务器都运行程序，进入redis文件 输入redis-cli -h 192.168.52.108 -p 6379
然后输入 lpush blogspider:start_urls http://blog.jobbole.com/all-posts/
这时主从服务器的爬虫程序就都可以跑了