Windows (pychram)搭建 scrapy 开发环境

Windows (pychram)搭建 scrapy 开发环境

作者首页：oleoo.xyz

---

环境:

1. scrapy 项目代码在 gitee.com 托管

2. 开发工具 pycharm

3. virtualenv

一、基于GIT代码库clone 新建建工程

详见： pychram 基于GIT 新建Python  项目

二、环境

2.1创建 虚拟环境

virtualenv venv

virtualenv 安装详见：python虚拟环境 安装

2.2

三、安装 scrapy

3.1 安装依赖库  wheel

(python) D:\oleryu\syfcapi>pip install wheel

Collecting wheel

  Downloading https://files.pythonhosted.org/packages/96/ba/a4702cbb6a3a485239fbe9525443446203f00771af9ac000fa3ef2788201/wheel-0.33.1-py2.py3-none-any.whl

Installing collected packages: wheel

Successfully installed wheel-0.33.1

3.2 pip install scrapy

3.3 问题处理

3.3.1 解决 Twisted 安装

Running setup.py install for Twisted ... error

进入官网：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted ，找到 twisted-17.1.0-cp36-cp36m win amd64.whl

3.3.2 解决方案 pip 版本 问题

You are using pip version 10.0.1, however version 19.1.1 is available.

You should consider upgrading via the 'python -m pip install --upgrade pip' command.

(python) D:\oleryu\syfcapi>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\oleryu\syfcapi\venv\bin\python\lib\site-packages (19.1.1)

(python) D:\oleryu\syfcapi>pip --version

pip 10.0.1 from d:\oleryu\syfcapi\venv\bin\python\lib\site-packages\pip-10.0.1-py3.5.egg\pip (python 3.5)

已经提示更新为19版本了，怎么pip --version 还是10版本的?

pip uninstall pip

使用如上命令卸载pip并重新安装

安装命令：

easy_install pip

3.3.3 解决 pywin32 模块问题

ImportError: No module named 'win32api'

通过pip 命令安装 pypiwin32

(venv) D:\oleryu\syfcapi>pip install pypiwin32

Collecting pypiwin32

  Using cached https://files.pythonhosted.org/packages/d0/1b/2f292bbd742e369a100c91faa0483172cd91a1a422a6692055ac920946c5/pypiwin32-223-py3-none-any.whl

Collecting pywin32>=223 (from pypiwin32)

  Using cached https://files.pythonhosted.org/packages/83/a5/960c5a714b3c975102031286121db06fe861fdd221b493dce5144d759b90/pywin32-224-cp35-cp35m-win_amd64.whl

Installing collected packages: pywin32, pypiwin32

Successfully installed pypiwin32-223 pywin32-224

注：

网文如下安装不能解决问题（ 安装完scrapy后，再去安装pywin32，之后再通过命令行调试scrapy项目时依然报错）

安装  pywin32：

进如官网：https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/ ，找到对应版本