这段时间一直在学习使用python的库写爬虫,www.devdao.com/Article/580449.htm 这个博主写的比较很好。也差不多了。
然后使用理所应当的是使用框架了。首屈一指的是Scrapy ,以上的博客里是基于windows的。下面是我的ubuntu系统的安装过程。
----------------
按照官方文档的说明,安装scrapy 需要以下程序或者库:
- Python 2.7
- lxml. Most linux distributions ships PRepackaged versions of lxml. Otherwise refer tohttp://lxml.de/installation.html
- OpenSSL. This comes preinstalled in all Operating systems except Windows (see Platform specific installation notes)
- pip or easy_install Python package managers
Ubuntu 14.04 已经自带了前三者。通过以下命令可以验证:
- 查看python 版本: python -V
qidong@qidong-Vostro-1400:~/Pictures$ python -V
Python 2.7.6
- 查看是否安装了lxml 和 OpenSSL 库:
终端键入python后回车,进入python命令行,然后导入相应的包,看是否报错,理论上是不会报错的。
>>> import lxml
>>> import OpenSSL
>>>
如果没有报错,那就说明已经有这两个库了。如果没有,可以用第四个工具--pip 下载和安装。
- 安装pip:
在Ubuntu software center中搜索:easy_install .搜索结果的第二个就是。至于为什么不是easy_install ,我也没有搞明白 -_-||.如图示:
安装好pip之后,我们就可以开始安装scrapy了。 官方文档说了,不要使用ubuntu 源里面python-scrapy, 因为那个可能很旧了。
- 安装scrapy
在终端输入:sudo pip install Scrapy , 注意S 是大写的。
安装结束之后,在终端输入 scrapy 来验证我们是否安装成功并且能否正常运行。
再次在终端输入: scrapy startproject sinaweibo 来创建一个工程来验证是否安装成功。
tips: pip 是个很有用的工具,python使用的包基本都可以用这个工具来安装。
参考链接:www.devdao.com/Article/580449.htm
但我的安装很简单就完成了。