python--分布式爬虫的实现

计划用python实现一个分布式爬虫，在熟悉python的同时，为以后做金融方面的数据分析打下坚实的基础。

1 安装 scrapy时遇到的问题
在mac上安装时一直提示错误，最后在找到问题解决的方案，安装成功。
Mac上安装Scrapy中的问题与解决方法
具体步骤如下：
办法就是 pip install scrapy –ignore-installed six。如果出现权限问题的话，就修改代码为sudo -H pip install scrapy –ignore-installed six

2 接着在运行一个小demo时出现的问题

from scrapy.cmdline import execute
import sys,os
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy','crawl','jobbole'])

erro 如下：

File "/Library/Python/2.7/site-packages/twisted/internet/_sslverify.py", line 38, in <module>
TLSVersion.TLSv1_1: SSL.OP_NO_TLSv1_1,
AttributeError:'module'has no attribute object'OP_NO_TLSv1_1'

最后查到stackoverflow，显示是我的twisted 版本和scrapy版本不对导致的，最后重新安装twisted后问题解决。
sudo pip install twisted==13.1.0
参考stackoverflow