本文由博主原创,转载请注明出处
github爬虫项目地址(已完成,关注和star在哪里~~):https://github.com/MatrixSeven/ZhihuSpider
附赠一份之前爬取的数据一份(mysql):链接:http://pan.baidu.com/s/1o833CUI 密码:vmck
1. 使用多线程加速
什么,爬虫爬起来数据太慢了,怎么办?你那当然是开启多线程了。那么多线程是什么我就不介绍了。如果还不知道的,请左移多线程百度百科。
恩,知道了多线程,但是多线程如果自己控制的话,会很不好控制,所以咱们还需要两个线程池,一个负责拿到个人信息,一个负责获取用户的token。接下来让咱们之前写的ParserBase类实现Runnable,然后在ParserFollower里和ParserUserInfo里分别实现run方法,其实也很简单了,就是把之前的爬去逻辑,丢到run方法里。然后咱们就开启了多线程之旅。
但是在