1.创建一个scrapy工程
cd
scrapy startproject baidu
cd
scrapy genspider 爬虫名字 域名
scrapy crawl 爬虫的name
2.在scrapy爬虫获取到数据以后对数据的保存
scrapy crawl 爬虫的name -o 文件名.文件格式(比如xml json csv)
scrapy crawl 爬虫的name -o 文件名.json -s FEED_EXPORT_ENCODING=UTF-8(防止json格式乱码)
3. scrapy-redis爬虫启动服务器命令
cd C:\Users\Administrator\Desktop\redis
redis-server redis.windows.conf
4.启动爬虫命令的终端窗口命令
cd C:\Users\Administrator\Desktop\redis
redis-cli
lpush mycrawler:start_urls https://github.com/rmax/scrapy-redis.git
5.由一人开启服务器,其余人链接服务器,进行分布式爬虫
在 settings.py中添加REDIS_URL='redis://root:@192.168.52.108:6379' 后面是IP地址和端口
打开redis文件中的redis.windows.conf找到第56行注销在57行写bind 192.168.52.108(主机的ip)保存
主从服务器都运行程序,进入redis文件 输入redis-cli -h 192.168.52.108 -p 6379
然后输入 lpush blogspider:start_urls http://blog.jobbole.com/all-posts/
这时主从服务器的爬虫程序就都可以跑了