pyspider爬虫库的报错解决方案

关于我使用pyspider遇到的一些坑

前言

废话不多说直接正题

---

提示：以下是本篇文章正文内容。

一、第一个大坑

官方给出的安装方法非常简单即是

pip install pyspider

殊不知噩梦才刚刚开始。

直接通过pip安装会pycurl爆红听朋友说是因为高版本环境变量会莫名其妙失踪
这里我推荐使用whl文件手动下载没用过此方法的朋友可以使用

pip install wheel

然后去官网下载对应的版本这里我选择的是pycuda‑2021.1+cuda102‑cp37‑cp37m‑win_amd64.whl
本人使用的是3.7.4版本找到你使用的版本然后下载放到桌面使用

pip install pycuda-2021.1+cuda102-cp37-cp37m-win_amd64.whl

这步请输入你对应版本的全名

完成你们应该会出现进度条我在此步已经安装完毕

二、由于pyspider依赖PhantomJS所以我们还需要安装他

1.已经安装了的小伙伴还请跳过此步

官方网站

https://phantomjs.org/download.html

选择对应系统立即开始下载
下载完毕后解压到你想存放的盘然后将其中的bin目录添加至系统变量