爬虫框架scrapy的安装

一、安装环境

1.安装vnev

python -m venv [虚拟环境名]

2.启动虚拟环境

进入新建的虚拟环境的Scripts目录，启动activate命令

cd [虚拟环境名]/Scripts/
activate

3.安装Twisted.whl

直接’pip install scrapy’时会报错误，这时候需要下载一个’Twisted.whl’文件(根据自己电脑下载需要的版本)，然后执行代码

pip install E:\Twisted-18.4.0-cp36-cp36m-win32.whl

4.安装scrapy

pip install scrapy

二、简单scrapy

1.创建项目

scrapy startproject [项目名称]

2.创建spider

scrapy genspider example example.com

#example -- spider 的名字
#example.com -- 访问的域名