虚拟机安装完成后,首先安装pip,然后利用pip安装scarpy
过程过程中,出现error: command 'x86_64-linux-gnu-gcc' failed with exit status 1错误
实际是缺少依赖
在ubuntu14.04版本上安装scrapy(lxml),老是出错,在一番艰辛的搜索之后 ,终于找出了安装的正确方法,其实也就是没有将依赖包装全:
1. 第一 反应是缺少 GCC ,检查没少
2. 后来安装lxml的依赖包,还不行
sudo apt-get install libxml2-dev libxslt1-dev python-dev
sudo apt-get install zlib1g-dev
sudo apt-get install libevent-dev
sudo pip install lxml
3. 还需要ssl相关库,我说在windows上安装咋这么难,linux也费了不少劲儿呢
sudo apt-get install openssl
sudo apt-get install libssl-dev
sudo apt-get install libssl-dev
安装依赖后诚信安装成功
第二部建立scrapy工程出现
'module' object has no attribute 'OP_NO_TLSv1_1错误
你先看看 pip install scrapy需要的 pyopenssl twisted 等和你安装的版本一样么 我的就是因为TWist 版本高于 需要的
用pip install twisted==13.1.0 才成功
关键就twisted版本,不能太高,用pip install scrapy,里面提示的是多少,就装多高的版本。
成功建立工程,(^-^)V