背景:
这是一个纪念的是时刻~昨天和小伙伴讨论如果仿一个kanzhihu.com的网站
今天开始执行了。
希望达到以下目的:
1.使用python来实现spider(这里选择了scrapy)
2.通过自建linux下服务器保存,并后期计划通过微信展示数据分析结果
3.github来管理项目,来管理。
------------------------------------
scrapy linux下环境搭建:
网上很多,看了不少文章也绕了不少路
代码工具包:(建议安装顺序如下,可以少走很多弯路)
代码包全都是官网下载最新的,所以就不列出目录了
1.sqlite-autoconf-3090100.tar.gz
sqlite3需要在安装python2.7之前装好
参考:
http://www.bubuko.com/infodetail-131419.html
2.Python-2.7.10.tgz
3.distribute-0.6.49.tar.gz(代替setuptools)
原因是centos下本身就有yum命令,该命令是基于python的。而系统下的python为2.6.6版本,scrapy需要基于2.7(我装了现在最新的2.7.10)
4.pip-7.1.2.tar.gz
5.Twisted-15.4.0.tar
安装方法:
网上参考了很多,以下这篇文章比较详细,不过文中提到的我是没有全部安装。就安装了以上5个搞定了
http://www.th7.cn/Program/Python/2012/05/27/77712.shtml
notice:
一、升级python2.7后,yum工具不能用
1.python2.7的升级
/usr/bin/目录下python默认是链接到python2.6的
直接输入python发现是2.6版本。网上很多升级方法,且容易理解就不说了。我是直接cp /usr/local/python27/bin/py* /usr/bin下,然后覆盖。
2.修改yum指定python2.6
覆盖后,python链接到了python2.7,
修改/usr/bin/yum文件中第一行python 改为python2.6
二、升级python2.7后,pip等工具失效
这个直接参考这个就好了:
http://my.oschina.net/dlpinghailinfeng/blog/203015