Chris Lee

原创 第二次爬虫实战--知乎

对于知乎的爬取已经进行了一段时间了，这也是真正意义上的爬虫实战，在这段时间学到了很多。在这片文章中想进行较详细的总结。思路：对于社交网络的爬取，我们一般利用用户的关注人和粉丝人去进行遍历，而遍历到下一层的用户时再去遍历这个用户的关注和粉丝列表，这样利用递归我们就能够爬取到大部分用户的信息。在我的代码中，我的主要思路是先把所有用户的ID放入一个列表，然后遍历这个列表再分别去收集每个用户的信息。那