知乎爬虫之5:爬虫优化

本文由博主原创,转载请注明出处
github爬虫项目地址(已完成，关注和star在哪里~~):https://github.com/MatrixSeven/ZhihuSpider
附赠一份之前爬取的数据一份(mysql):链接：http://pan.baidu.com/s/1o833CUI 密码：vmck

1. 使用多线程加速

什么，爬虫爬起来数据太慢了，怎么办？你那当然是开启多线程了。那么多线程是什么我就不介绍了。如果还不知道的，请左移多线程百度百科。

恩，知道了多线程，但是多线程如果自己控制的话，会很不好控制，所以咱们还需要两个线程池，一个负责拿到个人信息，一个负责获取用户的token。接下来让咱们之前写的ParserBase类实现Runnable，然后在ParserFollower里和ParserUserInfo里分别实现run方法，其实也很简单了，就是把之前的爬去逻辑，丢到run方法里。然后咱们就开启了多线程之旅。
但是在