本文详细记录window7下面安装爬虫Scrapy框架的过程和踩坑解决方法,希望对碰到问题的朋友们有个帮助。
1.安装python
在系统上安装python版本是2.7.8,设置环境变量,便于在控制台上打命令;
2.安装easy_install
下载安装py文件地址,在命令行下执行
python ez_setup.py
安装成功后,我们会在安装的python的文件夹内找到Scripts文件夹下,找到easy_install.exe
3. 安装pip
python get-pip.py install
在控制台输入pip显示
4.安装Scrapy
pip install Scrapy
其中在安装Twisted时候,报错error,require visula C++ 9.0,要么下载visualC++,不过这个实在代价有点大。
网上有查到说装个wheel的,但是安装了后没什么用。后来发现有
Microsoft Visual C++ Compiler for Python 2.7 下载,下载后安装即可解决依赖问题;
安装过程和结束没报错的话,然后在控制台输入scrapy,显示以下表示安装成功了,恭喜你搞定了!!!
同时将scrapy 加入到环境变量Path中,这样直接在控制台就可以直接使用。
5. 附件
Scrapy依赖较多的库,有现成很多安装包下载地址,自己搜索,下载到本地python 文件名即可,或者用pip install 包名;
6. 第一次运行