mac 下 python 爬虫工具 scrapy 的安装

这里是 python 的官网

这里是 scrapy 的官网

mac10.10系统里自带 python 版本为2.7.6   如果要安装scrapy 需要先安装 pip ,所以我直接在官网下载了 python2.7.9   它里边已经默认安装了 pip

直接 download 然后根据提示安装,安装完毕后我们在teriminal里输入 python 就可以看到版本号已经为2.7.9

输入 quit()   退出 python,因为已经自带了 pip, 所以我们直接输入 pip install scrapy 来下载 scrapy

当然不止是下载了 scrapy,还包括一些 scrapy 的依赖库.

当安装好以后在你想要创建项目的地方输入命令   scrapy startproject proname    (proname 是你的项目文件name)

那我在第一次运行时就报了一个错误

意识是 twisted 这个库没有找到.  我 google 了一下,有可能是因为我的电脑上存在多个 python 版本,导致安装出错

没关系,我们再安装一个 twisted 库好了,因为有了 pip, 所以直接 pip install twisted, 等安装完成

安装 lxml 的时候有可能报错,我们可以用一下方法安装,注意修改 mac 系统版本

sudo C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.8.sdk/usr/include pip install lxml

在我安装 scrapy 的过程中其实遇到很多问题,最多的就是提示模块不存在.总结原因,我认为是在安装 scrapy 的时候,并没有把这样依赖库安装给我下载的2.7.9的版本,而是 osx 自带的2.7.6  导致在运行 scrapy 的时候一直报错没找到XX模块.所以如果提示你缺少某某 module,只需要用 pip下载对应 module就好了,然后我们在运行创建 scrapy 的代码

scrapy startproject filename   就可以得到如下结果

其实不提倡删除系统自带的 python, 因为有没有系统依赖关系在里边,例如 sublime 就有可能不能启动.还有一点就是如果使用 xcode, 就不能升级python到3.X

这里是其他人删除自带 python 建立连接的方法,可以参考下