<scrapy爬虫>scrapy命令行操作

1.mysql数据库
2.mongoDB数据库
3.redis数据库


1.创建项目
	scrapy startproject myproject
	cd myproject

2.创建爬虫
	scrapy genspider myspider www.baidu.com
	scrapy genspider -t crawl myspider www.baidu.com----创建有rules配置

3.运行爬虫
	scrapy crawl myspider

4.错误检查
	scrapy check ----检查爬虫的语法错误

5.列出爬虫
	scrapy list --返回项目里spider名称
6.测试网页
	scrapy fetch www.baidu.com
	scrapy fetch --nolog www.baidu.com ----不会生成日志
	scrapy fetch --nolog --headers www.baidu.com 	--输出headers
	scrapy fetch --nolog --no-redirect---不会重定向
7.请求网页 把网页源代码保存成文件,在用浏览器打开(调试工具)
	scrapy view http://www.baidu.com

8.命令行交互模式shell
	scrapy shell http://www.baidu.com
	request---请求的网页
	response--请求网页的返回结果
	response.text请求结果
	response.headers--headers
	view(response)---在网页上打开返回的结果(如果能显示出来,说明是静态网页,能直接爬,如果没显示,说明是Ajax加载的网页)
	response.xpath("")--用xpath解析网页
9.解析网页的内容
	scrapy parse http://www.baidu.com -c parse	---前面是parse方法,后面是callback调用解析的parse方法
10.获取配置信息
	scrapy settings --get MONGO_URL---获取配置信息
11.运行spider文件
	scrapy runspider myspider.py---直接运行myspider文件(参数是文件名称)
12.输出版本
	scrapy version
	scrapy version -v---输出依赖库的版本
13.测试
	scrapy bench---测试爬行速度,反应当前运行性能

　　

转载于:https://www.cnblogs.com/shuimohei/p/10495900.html