豆瓣爬虫-找到共同爱好多的人

注册豆瓣10年以上了， 最近想找下 和自己共同爱好比较多的人

但豆瓣不提供这个功能，网上的好多豆瓣爬虫一般是爬电影。于是 ，自己 查了查一本爬虫的书，目前简单写了下，已经跑通了流程，实现了核心功能，能初步达到寻找共同爱好多的人

代码在这
https://github.com/haithink/doubanSpyder

这个估计是个最简单的爬虫了，不处理分页， 不对URL进行查重， 处理的异常很少，只有一个反爬策略， 等等
但是， 的确能工作，能爬起来， 运行了几个小时， 总共获取了 几十万个 主页地址，获取数千个共同爱好

这样做也很好，先把 核心流程完成， 会比较有成就感，然后 再一步一步进行完善