python爬qq空间_QQ空间动态爬虫

先说明几件事：题目的意思是，用于获取“QQ空间动态”的爬虫，而不是”针对QQ空间“的”动态爬虫“

这里的QQ空间动态，特指“说说”

程序是使用cookie登录的。所以如果是想知道如何使用爬虫根据QQ号和密码来实现登录的朋友可以把页面关了

本程序用python3实现，具体版本为python3.5，唯一需要用到的第三方库是requests

程序代码获取方式在最后面

－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－

程序主要由三部分构成，它们分别对应着本爬虫的三个步骤。获取所有QQ好友信息

间接获取。先把QQ空间的访问权限设置为仅QQ好友可访问

点保存后，上方会出现“当前权限下，XXX好友可以访问你的空间”的提示，如上图。此时打开F12，切换到JavaScript(Chrome中是Network)监测窗口。点击上图中画下划线的那几个字，就可以发现浏览器发送了一个GET请求，在Firebug中看到是这样的：

查看它的response，会发现里面就是由自己好友的名字和QQ号码组成的近似于JSON格式的内容。爬虫程序中的get_my_friends.py就是用于获取它的内容的，其主要代码如下：

def get_friends(self):

key = True

position = 0

while key:

url = self.base_url + '&offset=' + str(position)

referer = 'http://qzs.qq.com/qzone/v8/pages/setting/visit_v8.html'

self.headers['Referer'] = referer

print("\tDealing with position\t%d." % position)

res = requests.get(url, headers=sel