Python爬虫框架Scrapy安装

          初级的爬虫我们可以利用urllib和urllib2库以及正则表达式来完成，而高级的功能更强大的爬虫我们可以使用爬虫框架Scrapy来完成。

下面是我在Win7平台下的安装过程，我的Python是2.7.9版。

1.安装Python

到Python官网上下载安装，https://www.python.org/downloads/。

安装完成后配置环境变量，我安装在E:\Applications\Python27，就将以下两个路径加到Path变量中

      E:\Applications\Python27;E:\Applications\Python27\Scripts

          配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功。

2.安装pywin32

         Windows下必须安装pywin32.安装地址： http://sourceforge.net/projects/pywin32/
         下载对应版本安装后，在Python命令行中引用pywin32，输入import pywin32如果没有报错则安装成功。

3.安装pip

         pip是用来安装其他必要包的工具，首先下载 get-pip.py

         下载好之后，选中该文件所在路径，执行下面的命令

     python get-pip.py

        

         执行命令后便会安装好pip，并且同时，它帮你安装了setuptools

        安装完了之后在命令行中执行

     pip --version

        检测安装是否成功。

4.安装pyOPENSSL

        OpenSSL是一个强大的安全套接字层密码库，Apache使用它加密HTTPS，OpenSSH使用它加密SSH,它不仅是一个库，还是一个多用途的、跨平台的密码工具。
        在Windows下，是没有预装pyOPENSSL的，而在Linux下是已经安装好的。
        安装地址: https://launchpad.net/pyopenssl

5.安装lxml

        lxml是一种使用 Python 编写的库，可以迅速、灵活地处理 XML
        安装VC++运行库，安装地址： http://www.microsoft.com/en-us/download/details.aspx?id=44266
        执行如下命令即可安装lxml

    pip install lxml

6.安装Scrapy

       执行如下命令安装scrapy

    pip install Scrapy

       安装完成后在命令行输入scrapy检测是否安装成功。

转载于:https://www.cnblogs.com/baalhuo/p/5762126.html