scrapy 框架新建一个 爬虫项目详细步骤

利用scrapy框架新建一个爬虫项目，完整步骤如下：

---

---

方式1：

1. mkdir douban
   cd douban

2. 创建虚拟环境命名为venv， 代替了virtualenv –no-site-pages +virtual_name

   python -m venv venv 第一个venv代表虚拟环境模块 第二个表示把虚拟环境创建在venv目录下

3. cd venv
   cd Scripts

4. activate 启动虚拟环境

5. cd ../../ 回到我的用户主目录
   cd douban 进入豆瓣目录

6. python -m pip install -U pip 更新pip

7. pip install C://Twisted-18.4.0-cp36-cp36m-win_amd64.whl 我都放在了安装包下载路径下了

8. pip install pypiwin32 在安装scrapy之前需要安装这个包，要不然 安装时会报错， 这个在苹果系统下就不会报错

9. pip install scrapy

10. scrapy startproject douban . 新建项目douban, 加个逗号把项目建立在当前目录下，如果不加，则会在当前目录下，自动以项目的名称创建一个目录，目录下才是项目

11. scrapy genspider movie movie.douban.com 建立爬虫，命名为movie ,并指定要爬取的基础网站为movie.douban.com

doskey /history windows中显示历史命令

---

---

方式2：

1. 直接使用pycharm新建一个名为douban的工程
2. 选择创建虚拟环境 路径为这个工程下的venv
3. 在终端中进行操作，等于省去上面的创建虚拟环境的步骤了，
4. 直接在终端中，从上面的第6步开始操作