最近刚刚开始学习Python,先看了一些Python爬虫技术的文章,其中很多人都提到了Scrapy框架,于是想安装学习一下,结果弄了好久,遇到了各种坑,找了各种方法,终于填完。写下此文,希望对后来的小伙伴有些帮助。
我的系统环境是Win1064位,安装了Python3.6。
先说一下我遇到的几个大坑:
1、Scrapy1.4是支持Python3的,但是不管你是在命令行中安装,还是用pycharm安装,都会提示“Microsoft Visual C++ 14.0 is required”。如果你真的很听话的补充安装了,会发现根本就不行。。
2、百度问大神,知道原来Scrapy需要先安装twisted包,有些人还提到要安装lxml包,但我没有遇到,我的Python已经安装过了。于是下载了Twisted包,发现官方的包只能安装在Python2上,不能装在Python3上。