Windows下如何最省事最稳定的安装Python与Scrapy

Windows下如何最省事最稳定的安装Python与Scrapy

 

       Scrapy是开发大型python爬虫时十分有效的框架，可以将注意力集中在开发和逻辑上，而不用分心于底层。这篇文档是亲身实践已经尽可能的将细节展现出来了，而且是最省事并且问题最少的方法，按此安装应该是没有问题的，若出现小问题百度一下均可解决。

 

一、 开发python爬虫，首先就要安装python环境，这一部分一般来说是没什么问题的，所以已经安装好环境的可忽略这第一步

1、 下载python-3.5.4-32(或者64)位.exe

      说明一下，现在是2018年1月，所以之后的版本我不太清楚，那迄今为止，有两个版本的python可以使用，即python 2.X和python 3.X，其中3.5和2.7是相对应的比较稳定的版本，3系列版本比2系列版本速度更快，更加实用，尤其是在处理编码上更加方便，不像2系列版本那么麻烦。

      而且注意2系列版本和3系列版本使用起来是有挺大不同的，不能将语句混淆使用，最重要的是3系列版本为了轻便是不兼容2系列版本的，所以安装的时候要想好用哪一种。

      两个版本可以同时安装，但是要将其中不常用的版本的python.exe改成其他名字（在”安装目录/python27(或python35)/”下）.双击安装文件时要记得勾选自动配置环境变量，就不用之后的环境变量配置了。

2、查看版本

       安装好后，win+r 调出小黑框框，输入Python -V （大写的V）查看版本确认安装。

3、验证安装

      在“开始”或者软件安装好的地方找到IDLE，这个和python在一个地方，打开后，输入  print(“hello”)，按F5运行，弹出框框输出hello，表示python安装成功。

 

二、 重要部分，Scrapy在安装过程中会遇到各种各样的问题，这一部分进行时可按照以下步骤。

1、安装方式

       使用本地安装方式，就是下好需要安装的东西，调用小黑框框进行安装，也可以开一个VPN，相较于所学的东西而言还是挺值的，而且之后也可以用。

2、升级pip

      升级pip，注意Python2.X不带pip，pip得自己安装，但是3.X版本是自带的，所以还是建议使用3.X版本，在小黑框框中输入 python -m pip install --upgrade pip ，回车，弹出升级好的信息。

3、 安装lxml

       登录网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/ ，找到想要的lxml文件，这个网站目前是可以访问的，不知道以后会不会被封，但是这个文件有很多，可以自己到网络上找找。找到 lxml-4.1.1-cp35-cp35m-win32.whl文件，中间的cp表示对应的python版本，注意一定要与使用的版本相对应。然后运行小黑框框，cd到whl文件的目录中，输入pip install whl文件名字.whl 回车，显示安装成功信息。

4、安装VC++库

       安装Visual Studio 2015 专业版，注意不要安装社区版，否则之后会有各种各样的解决不了的错误。这一步主要是为了安装MicrosoftVisual C++库，也就是说如果不用VS的话就不用破解软件了。

5、 安装scrapy

      调出小黑框框，输入pip install scrapy 等待安装成功即可。

6、安装其余必要组件

     其实到这里已经安装完了，但是scrapy项目却会报一个win32api的错误，所以为了保险起见，调出小黑框框，输入 pip install pypiwin32 等待安装成功即可。

三、 可能会遇到的问题，安装过程中可能会报各种错误，这里总结了一下，以供参考

       1、 VS安装报出发生严重错误，可能是电脑缺少dll文件或者是其他环境（比如.NET framework）没有具备，可以使用驱动软件或者安全软件检测修一下补丁，或者看提示缺少什么文件，网上下载放到指定目录里。

       2、 报whl和bat错误，检查下whl文件和vs是否成功安装。

       3、 报版本错误，检查下pip是否为最新版，总而言之就是要按照上面步骤来。

       4、 运行项目时报win32api错误，按照上面的第六步执行即可。

 

      这其中有不合适或者不正确的地方欢迎指正，我的QQ号码：2867221444（乔金明），谢谢，也可以相互交流下，备注信息随意，只要能看得出是开发者或者学习者即可。