python爬取qq群成员_教你用python爬取自己加入的QQ群成员名单

本次实验环境：

操作系统：Mac OS

开发语言：python 3.6

IDE：jupyter notebook(建议使用)

浏览器：Chrome(版本75.0.3770.100)

需要用到的库：selenium、bs4、time、datetime、pandas、os。

QQ群的主页为：https://qun.qq.com/member.html。如果想查阅群号为123456的主页，则在主页URL后面加上#gid=123456。即我们想爬取群号为123456的群成员，需要请求的URL为：https://qun.qq.com/member.html#gid=123456

如果正常登陆页面，第一步需要扫码登陆。如果在电脑端已经登陆过QQ的话，则可以通过选择相应的QQ用户进行登陆。登陆后，页面的架构可能会有两种：一种是无群成员积分等级的，如下所示：

另外，一种有群成员积分等级的：

对于两种不同的架构，代码细节上有点出入。不过在本次实验中会识别出是否有群成员积分等级，再获取字段数据。

程序会先创建一个文件夹，用于存放数据集。文件夹命令方式：dataset + yyyymmdd(本日日期)。如果文件夹已存在，则放弃创建。

爬虫开始时，先用selenium模拟打开浏览器，现在selenium为3.x版本，需要下载相应的插件才能启动，否则会报错。对于Chrome浏览器，