爬虫项目十六：用 Python 三十行代码采集QQ群成员信息，很简单

本文链接：https://blog.csdn.net/weixin_47163937/article/details/115427422

文章目录

前言
一、抓包
二、代码

前言

用Python爬取QQ群成员信息数据

提示：以下是本篇文章正文内容，下面案例可供参考

一、抓包

我们进入qun.qq.com登录自己的账号、选择一个群进入，打开抓包工具，向下滑动页面，可以抓到一个数据包其中包含了20个成员的信息，有网名、QQ、发言时间等等

在这里插入图片描述
现在我们来观察他的url和所带参数，找到他的规律，我们可以看到参数中st和end应该就是表示的页数，意思应该是从第21个到41个，至于gc、bkn应该表示的账号和群组，我们刷新页面抓取第一页的数据包观察发现 gc、bkn、sort参数都没变，唯独st和end变了，可见st和end就是表示页数的关键

https://qun.qq.com/cgi-bin/qun_mgr/search_group_members
参数：
gc: 自己抓包获取
st: 0
end: 20
sort: 0
bkn: 自己抓包获取

参数：
gc: 自己抓包获取
st: 21
end: 41
sort: 0
bkn: 自己抓包获取

二、代码

我们已经知道了数据页数变化的规律，现在我们来实现其代码的操作

首先写一个函数用于生成Params并传入列表中

def Params_list(self):
    Params_list=[]
    for i in range(96):
        st=i*20+i
        end=st+20
        params={
            "gc": 自己抓包获取,
            "st": st,
            "end": end,
            "sort": 0,
            "bkn": 自己抓包获取
        }
        Params_list.append(params)
    return Params_list

在写一个函数用于访问页面获取数据

def Get_Data(self,params):
    try:
        url="https://qun.qq.com/cgi-bin/qun_mgr/search_group_members"
        head={
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36',
            'cookie':'tvfe_boss_uuid=3eec8ab61924dc8d; pgv_pvid=5532717881; RK=CnIgT93OeT; ptcz=1a3ce7dF; traceid=5a73ddf726'
        }
        data=requests.get(url=url,headers=head,params=params).json()
        for da in data["mems"]:
            with open(".//QQ_Group.csv", "a+", encoding="utf-8") as f:
                writer = csv.DictWriter(f, da.keys())
                writer.writerow(da)
    except Exception as e:
        print(e)
        pass