http://www.tuicool.com/articles/JFzeqy
Scrapy 是一个自由开源的Python爬虫框架,虽然其官方主页有安装指导,但是在Windows下实现起来却没有那么容易。自己一番折腾之后总算可以正常运行,这里总结一下。
需要的软件和扩展包按照安装顺序分别是:
- Anaconda (IPython) Win 32bits (python version: 2.7)
- lxml 2.3
- twisted 12.0.0
- zope.interface 4.1.0
- pyOpenSSL 0.13
用Anaconda的原因是其自带了pip,如果是原始的python,在Windows下安装pip是非常麻烦的事情。2-5均有Windows的exe安装方式(必须都选择win32,否则会找不到Anaconda安装位置)。为了使用pip,还需要到Anaconda安装地址下的Lib文件夹下找到名为mimetypes.py的文件,在大约256行:
default_encoding = sys.getdefaultencoding()
这句话前面添加:
if sys.getdefaultencoding() != 'gbk':
reload(sys)
sys.setdefaultencoding('gbk')
default_encoding = sys.getdefaultencoding()
即如果sys模块的编码方式不是gbk(Windows中文系统默认编码方式),则设置成gbk。最后一行是原来的那句话。最后在cmd中输入:
pip install scrapy
安装scrapy。