Python爬虫抓取slack组里的用户信息

最新推荐文章于 2024-08-20 09:41:10 发布

tyj1982

最新推荐文章于 2024-08-20 09:41:10 发布

阅读量487

点赞数 1

分类专栏： automation 文章标签： python 爬虫 RPA automation slack

本文链接：https://blog.csdn.net/tyj1982/article/details/125654350

版权

automation 专栏收录该内容

2 篇文章 1 订阅

订阅专栏

需求说明

国外很多产品社区运营都是用slack，并且设置多个频道作为群组来交流，昨天突发奇想，想抓一个感兴趣的群组里的人员信息，里面超过1万人，手动抓取肯定不现实。作为程序员，作为python程序员，一定是要想办法自动化的，在网上搜了一圈，发现这个开源的python自动化库不错，clicknium 就开始动手尝试.

环境准备

本人开发环境：windows 10， visual studio code

参见getting started

创建目录

直接新建一个folder

方案思路

进去slack的频道，右上角会显示人数，点击会弹窗，

编辑

添加图片注释，不超过 140 字（可选）

循环遍历弹窗里的人员信息，先存取人员列表信息，然后再根据人员名称搜索人名显示个人详细信息获取邮箱电话等信息，存入列表中。

from clicknium import clicknium as cc, locator
from clicknium.common.enums import *
import json
import os

cc.find_element(locator.slack.text_all).click()
members = cc.find_element(locator.slack.tabitem_members).get_text()
print(members)
count = int(members.split(' ')[1].replace(',', ''))
cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')
cc.send_hotkey("{DOWN}")

step = 0
names = []
if os.path.exists("data.json"):
    with open("data.json", 'r') as myfile:
        data=myfile.read()
        # parse file
        names = json.loads(data)
step = len(names)
if step > 0:
    for _ in range(step):
        cc.send_hotkey("{DOWN}")

def NotContains(name):
    for item in names:
        if item['name'] == name:
            return False
    return True

def SaveToFile():
    jsonString = json.dumps(names)
    jsonFile = open("data.json", "w")
    jsonFile.write(jsonString)
    jsonFile.close()

while step<count:
    for i in range(1,13):
        dict = {"index":i}
        if not cc.is_existing(locator.slack.listitem_member, dict):
            continue
        elem_member = cc.find_element(locator.slack.listitem_member, dict)
        name = elem_member.get_text()
        #print(name)
        if NotContains(name):
            names.append({'name':name,'email':'', 'postfix':''})
            step += 1
            print(name)
            if step % 100 == 0:
                SaveToFile()

    cc.find_element(locator.slack.edit_成员名称).click(by='mouse-emulation')
    for i in range(10):
        cc.send_hotkey("{DOWN}")
    
SaveToFile()

说明：

先点击右上角显示人数的按钮，弹出人员信息列表弹窗
获取人数
循环获取listiten的信息
由于这个列表是动态加载的，所以没获取10个，就通过发送多次Down的快捷键向下滚动，让页面动态加载后续的人员信息
在存储列表时根据名称进行去重

from operator import contains
from clicknium import clicknium as cc, locator, ui
from clicknium.common.enums import *
import json
import os

names = []
if os.path.exists("data.json"):
    with open("data.json", 'r') as myfile:
        data=myfile.read()
        # parse file
        names = json.loads(data)

def SaveToFile():
    jsonString = json.dumps(names)
    jsonFile = open("data.json", "w")
    jsonFile.write(jsonString)
    jsonFile.close()

step = 0
for item in names:
    if len(item['email']) == 0:
        cc.find_element(locator.slack.text_all).click()

        cc.find_element(locator.slack.edit_成员名称).set_text(item['name'], "set-text")
        cc.find_element(locator.slack.list_member1).click()
        email = cc.find_element(locator.slack.text_email).get_text()
        
        item['email'] = email
        item['postfix'] = email.split('@')[1]
        step += 1
        if step % 20 == 0:
            SaveToFile()
        cc.find_element(locator.slack.close_image).click()
SaveToFile()

说明：