爬虫爬虫 - 知乎的爬虫 (Scrapy 框架)

背景： 前段时间适应了工作环境之后就寻思开始自己捣鼓点东西玩玩， 于是想啊既然网上这么多爬虫教程什么的，那咱也来凑凑热闹把，毕竟我也很喜欢搞点Data玩一玩。但是拖延了好久，这不趁着回来办签证这功夫赶紧把这个push了！

开发的环境：

Mac OSX, Python 3.5, Scrapy 框架  

Tips: 

为什么使用 Python 3.5?

Python 2.x 在不久的将来就不被维护了。

使用的工具：

给大家推荐一款mac上编写python的IDE - Pycharm， 目前我发现它的优点有：1. python intepreter 的版本控制做的很棒，可以随意切换python 版本，另外对每个版本下都安装了什么lib也一目了然。2. 对于不同版本的python，可以很简单的对其进行lib的增加和删除。减少了安装需要考虑路径等不必要的麻烦。3. 支持 自动填充 你打出一个function的开头它给你结尾这样。

项目的简介：

本次项目实现了模拟登录，并在登录之后爬取某个话题下面的所有问题信息。

项目代码：