scrapy命令介绍

 

全局命令：

Dos下输入：scrapy -h

scrapy [command] [options] [args]

command：命令，

bench：测试本地硬件性能，测试爬虫运行环境

fench：下载给定的url地址

genspider:在项目下创建爬虫类

runspider：运行爬虫类

settiongs：获取配置信息

shell：临时交互模式，来获取待访问网址信息，输入quit()退出

startproject：创建新的工程

version：查看当前版本号

view：下载网页并用默认浏览器打开

项目命令：

在创建完项目之后，在项目目录下打开Dos，输入scrapy -h，这时候多出来的命令叫项目命令

scrapy  genspider 爬虫名 域名：在项目下创建一个爬虫spider类

scrapy runspider 爬虫文件：运行一个爬虫spider类文件

scrapy crawl 爬虫名称：通过名称指定运行爬虫文件

scrapy list :查看当前项目下有多少爬虫

crawl：运行指定爬虫

edit:编辑爬虫等等

 

初始错误1：

scrapy运行importError:No module named win32api错误

解决办法：pip install pypiwin32