利用Python爬取QQ好友空间数据

程序思路

构造请求链接

先获取所有的好友

获取说说

获取留言

获取个人信息

把数据存到数据库

以上就是整个过程中的大思路，然后在逐步把大思路化解成小的具体的问题去解决。

本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群：960410445一起讨论视频分享学习。Python是未来的发展方向，正在挑战我们的分析能力及对世界的认知方式，因此，我们与时俱进，迎接变化，并不断的成长，掌握Python核心技术，才是掌握真正的价值所在。

基本环境配置

环境：Ubuntu 16.04

IDE： PyCharm

python 3.5

selenium : 用于模拟登录获取cookies

requests : 用于保存会话

json : 用于把数据进行清理，整合

urllib : 用于对链接的构造

pymongo : 用于对mongodb数据库的调用

模拟登录

首先QQ空间是需要登录的，我们利用selenium进行模拟登录

我们使用账号密码登录，通过如下代码可以进行模拟登录：

构造链接

有过爬虫经验的朋友肯定知道，构造链接在爬虫过程中是经常会遇到的，特别是数据需要动态加载的时候。

我们仔细来分析一下它的请求链接：

在chrome的Network下的js中找到qzfl_v8_2.1.65.js

这里就是获取g_tk的算法部分，转换成python版本就是：

这个就是整个程序的核心部分，只要拿到了这个g_tk，其他的就不是什么困难的地方了。

获取所有好友的账号

请求链接构造如下：

获取好友信息如下：

获取所有的好友的说说

先上代码：

总结

这次对QQ空间的爬取总体来说收获还是很大的，文章中只是大体介绍了一下过程，具体细节我希望各位能够亲自动手去做一下，授人以鱼不如授人以渔，要想学好程序，不动手是肯定不行的。

转载于:https://juejin.im/post/5c31a6e96fb9a049fa0fe908