[Python Scrapy] Windows 下 Scrapy 框架(通过pip安装)

Scrapy 框架介绍

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。

安装前提准备

①Python 2.7 安装成功(本文默认Python 2.7 已安装成功)

②pip 安装成功

③Scrapy 程序必须在 Python 2.7 环境下运行（Scrapy 框架与 Python 2.6 和 Python 3.x 不兼容）

④Scrapy 需要的支持库有：pyWin32、pyOpenSSL、lxml

• pyWin32：Python没有自带访问Windows系统的API的库，因此需要下载，库文件名称为pyWin32。
  
  
• pyOnenSSL：pyOpenSSL是Python的OpenSSL接口。
  
  
• lxml：其是一个比较流行的解析库，使用XPath语法，效率比较高。

安装步骤

pip 安装

①可访问 https://pip.pypa.io/en/latest/installing/#python-os-support 页面下载 get_pip.py 文件，并将其放入自己选定的位置下；

②运行命令行窗口，定位到放 get_pip.py 文件的目录下；

③运行如下命令：

 python get_pip.py install

即可完成pip安装，在命令行中输入pip看到如下界面，则证明pip安装成功。

④若运行安装命令显示安装的版本比已安装版本低，请忽略该 pip 安装步骤。

pyOpenSSL 安装

①可访问 https://launchpad.net/pyopenssl 选择适合本系统的版本下载 .exe 文件；

②根据安装提示进行安装。

pyWin32 安装

①可访问 https://sourceforge.net/projects/pywin32/files%2Fpywin32/ 选择适合自己系统的版本下载 .exe 文件

②根据安装提示进行安装。

lxml 安装

①运行下面命令进行安装

pip install lxml==3.4.4

提示：请根据官网选择最新版本，若安装过程中提示需 libxml2 库、与 libsxlt 库支持，请降低安装 lxml 安装版本，即可成功。

Scrapy 安装

①运行下面命令进行安装

pip install Scrapy

②输入如下命令

scrapy

显示如下界面即代表Scrapy安装成功。

【注】 Scrapy Demo 尽快补上已测试安装的 Scrapy 是否还有其他问题。