杂谈 Python Scrapy 安装

Scrapy 是python中的一个数据抓取模块。其主要作用是建立一个spider，向网页发起request请求，接收到返回数据后爬取所需要的网页内容。 

scrapy 的安装主要有两种途径，一种是在cmd运行中输入代码：pip install scrapy. 系统会自动从互联网上安装所需要的安装包和库文件；第二种是通过一个python的模块软件（anaconda）安装。我采用的是第二种，anaconda安装 。我一共反反复复安装了三次，主要问题是没有建立对应的环境变量，使得cmd中总是无法找到并开启python和scrapy。最后总算是成功了，先放一张成功之后运行的图。

• 环境变量

先说一下什么是环境变量，百度百科“环境变量”，

       环境变量（environment variables）一般是指在操作系统中用来指定操作系统运行环境的一些参数，如：临时文件夹位置和系统文件夹位置等。环境变量是在操作系统中一个具有特定名字的对象，它包含了一个或者多个应用程序所将使用到的信息。例如Windows和DOS操作系统中的path环境变量，当要求系统运行一个程序而没有告诉它程序所在的完整路径时，系统除了在当前目录下面寻找此程序外，还应到path中指定的路径去找。用户通过设置环境变量，来更好的运行进程。

我的理解就是相当于建立一条快捷通道，让系统认得某个exe执行文件，从而可以在任意一个目录下快速找到这个文件，而不用传统上的一步步先找到子文件的母文件夹，打开，然后再输入文件名，open。

• scrapy安装

scrapy的环境变量可以在安装过程中自动添加，当安装完anaconda之后，会跳出一个界面，让你进行选择，上下两个选项，第一个选了会有红色标注警告，即自动建立环境变量警告，不用理睬，勾选上。第二个选项是anaconda面向单个用户还是全体，也勾上，点确定。这样anaconda就自动地在计算机上建立了快捷方式，在cmd上就能够直接输入文件名启动了。

当然环境变量也可以手动设置，“计算机—>属性—>高级系统设置—>高级—>环境变量—>path—>编辑—>然后添加完整的文件地址就可以了”。

全部安装完毕后，在cmd中直接输入scrapy，如果跳出一大段可运行命令，那么就安装成功了，可以在pycharm中import scrapy了。