Python 爬虫开发杂记之（五）pyspider框架安装

一、基于Anaconda安装pyspider

在Anaconda中安装pyspider无法成功，请跳过第一部分，直接看第二部分的基于python目录安装

在anaconda环境下，所以就出了一点小问题。

首先输入pip安装命令，不能用 conda install pyspider 命令,会报错找不到包

pip install pyspider

执行pip install pyspider时，会报错：

解决方法：

使用升级命令： python -m pip install --upgrade pip   即可解决问题。

然后再次执行 pip install pyspider  还是会报错

貌似要指定什么依赖路径，但是我当时都是anaconda打包好的，哪里去找什么依赖路径啊。经过苦思冥想(大约10秒钟之后)，忽然想起来还有自带的conda命令可以安装，于是乎使用以下命令安装pycurl

conda install pycurl

安装完毕之后重新运行pip命令安装pyspider：

pip install pyspider

然后我就成功了~

但是当在anaconda prompt中执行pyspider时却报错：

错误请看：https://segmentfault.com/q/1010000015188569

由于我是在python3.7的环境中安装pyspider的所以会有这个错，在这里重新建一个环境 python为3.5的来安装pyspider，

但还是起不来，Anaconda prompt中执行pyspider时会卡死不动，访问localhost:5000也打不开网页。

 

所以在Anaconda中安装pyspider无法成功，于是就不在这安装了。

 

二、基于python目录中安装pyspider

1、先在Anaconda prompt中 创建一个环境

命令：

conda create -n learn2 python=3.6

2、在Anaconda prompt中执行

命令：

activate learn2

由于anaconda 创建环境时没有将pip3安装，所以需要在执行下面的命令来安装pip3

 python -m pip install --upgrade pip

3、然后在Anaconda的安装目录中的envs->learn2目录中打开cmd执行命令

由于anaconda安装以及创建环境时没有将python的环境写入到path中，所以执行pip3命令需要用到全路径。

这样就安装好了pyspider,

运行pyspider, 在cmd中执行下面的命令：

在网页上打开localhost:5000就可以看到下面的页面：