最近在做用户行为分析和预测的一个task,但是mgr不给数据,让自己去爬......=。=
发现要爬的网站一般的urllib/urllib2还都爬不成,需要用更高级的爬虫框架Scrapy。
从网上找了一些资料,整理如下:
1.安装Python
安装过程我就不多说啦,我的电脑中已经安装了 Python 2.7.7 版本啦,安装完之后记得配置环境变量,比如我的安装在D盘,D:\python2.7.7,就把以下两个路径添加到Path变量中(PS:现在的python安装只要在某一步中将add to path勾选上就可以直接自动添加环境变量了)
配置好了之后,在命令行中输入 python –version,如果没有提示错误,则安装成功
2.安装pywin32
在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/
下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:
在python命令行下输入
import win32com
如果没有提示错误,则证明安装成功
3.安装pip
pip是用来安装其他必要包的工具,首先下载 get-pip.py
下载好之后,选中该文件所在路径,执行下面的命令
执行命令后便会安装好pip,并且同时,它帮你安装了setuptools
注意:我的pip安装完之后发现他并没有帮我安装setuptools,所以到官网下载setuptools(http://pypi.python.org/pypi/setuptools)
安装完了之后在命令行中执行
如果提示如下,说明就安装成功了,如果提示不是内部或外部命令,那么就检查一下环境变量有没有配置好吧,有两个路径。
4.安装pyOPENSSL
在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。
安装地址:https://launchpad.net/pyopenssl
5.安装 lxml
这一步装的时候就很坑爹,用pip和easy_install装总会出There was a problem confirming the ssl certificate: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590) - skipping的报错。
最后总结一下自己装这个lxml的方法:
先把virtualenv装了:easy_install virtualenv
然后找到从http://lxml.de/installation.html上下的lxml安装包的路径
最后easy_install lxml-2.3-py2.7-win32.egg
至于为什么一定要先装这个virtualenv,我也还没搞清楚。
6.安装Scrapy
其实在这之前还需要安装Zope.Interface(http://pypi.python.org/pypi/zope.interface/),Twisted(http://twistedmatrix.com/trac/wiki/Downloads)和w3lib(http://pypi.python.org/pypi/w3lib)。
安装成功后import这些包验证成功安装。
其中安装twisted的方法:下载 https://pypi.python.org/packages/2.7/T/Twisted/Twisted-13.0.0.win32-py2.7.msi和ZOPE包https://pypi.python.org/pypi/zope.interface#downloads
最后就是激动人心的时刻啦,上面的铺垫做好了,我们终于可以享受到胜利的果实啦!
执行如下命令
pip install Scrapy
pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!
7.验证安装
输入 Scrapy
如果提示如下命令,就证明安装成功啦,如果失败了,请检查上述步骤有何疏漏。
如果大家遇到什么问题欢迎私信留言,一起解决~