安装与配置
- Scrapy有几个安装依赖,一般来说可以直接
pip install scrapy
,这个过程会自动下载安装其他几个依赖. - 上述安装方法不成功,则需要手动安装依赖包
- 步骤
- 安装 lxml
pip install lxml
- 安装 cryptography
pip install cryptography
- 安装 twisted
pip install twisted
- 安装 scrapy
pip install scrapy
- 安装 lxml
- 理论上开代理会下载的快一些,因为默认是国外源,但实际安装时开代理却会出现错误(亲测)
几个常用scrapy命令
- 几个scrapy命名
- 输入
scrapy -h
则会出现相关提示,所有也不用记命令 - 根据这条命令可以知道scrapy的基本用法
scrapy <command> [options] [args]
scrapy startproject project_name
则会在当前目录下创建一个项目
- cd到项目文件夹
scrapy genspider spider baidu.com
可以帮助创建一个新的名为spider的爬虫scrapy crawl spider
则会运行spider这个爬虫
- 输入