scrapy虚拟环境创建

1.创建目录douban文件夹

mkdir douban

cd douban

2.创建虚拟环境

python -m venv venv

**python -m venv venv –clear # 清理原来的虚拟环境并新建虚拟环境venv
python -m venv venv –system-site-packages # 兴建虚拟环境，并导入python环境中所有的包**

3.启动环境

cd venv/Scripts/

activate

4.更新pip版本

cd ../../

(venv) $ python -m pip install -U pip

5.安装scrapy

(venv) $ pip install E:\Twisted-18.4.0-cp36-cp36m-win32.whl
# pip install + 文件路径 + 文件名字

(venv) $ pip install scrapy

此时如果直接’pip install scrapy’时会报一个错误如下图，这时候需要下载一个’Twisted-18.4.0-cp36-cp36m-win32.whl’文件(根据自己电脑下载需要的版本)，然后执行上面代码

6.创建douban项目

(venv) $ scrapy startproject douban .

7.创建spider

方法一：

(venv) $ scrapy genspider example example.com

# example -- spider 的名字
# example.com -- 访问的域名

方法二：

(venv) $ scrapy genspider movie movie.douban.com --template=crawl