本人使用pycharm安装的,中间也是一路险阻
1.使用pip install scrapy:
无法安装(如果直接能安装好那就没问题了),查看原因是twisted这个库安装失败。
解决方法1:(失败了,因为本来就是这个库安装失败,单独安装也没成功)
pip install twisted
解决方案2:找库文件,自己安装,不过我也没找到Mac的py库文件的查找地
(附一个window的库文件网站https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted)
2.使用conda install scrapy命令安装:
可以安装,但是速度超级慢(每次都是电脑待机了,导致安装失败的)
解决方案:更换国内的py库资源,这里使用清华提供的anaconda镜像,速度真的快
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
(一句一句的执行,没啥反应,直接按顺序输入就行了)
最终解决了,然后就是创建一个爬虫试试了。(这里我就没遇到坑了)
scrapy startproject tianya
cd tianya
scrapy genspider tianya tianya.com
效果如下图: