社区发现系列04-社区的特征分析

在实际黑产团伙挖掘工作中，我们一般：
1）首先要计算一张大图，
2）然后用社区发现算法对大图进行社区划分，
3）然后过滤一些规模异常的社区后，
4）就要对社区进行分析和挖掘，
5）制定作弊团伙风控策略
在前面的文章中我们研究了目前最有效的社区发现算法是Louvain算法，可以用该算法进行社区发现，得到一个个社区。得到社区后，我们如何从中分析和挖掘我们关注的作弊团伙呢？可能不同的业务场景关注的重点不同，可以去分析下面的一些基本问题：

1、社区分析：

1. 孰强孰弱-个体能力分析：网络中哪些节点至关重要，哪些节点可以忽略？在广告投放业务中：我应该寻找哪个节点（意见领袖KOL发现）扩散广告信息可以获得最大信息传递和回报；在风控反欺诈业务中，我们通过寻找核心作弊成员进行封禁，而对非核心成员进行豁免，可以增加策略处罚的准确率，降低误伤
2. 孰亲孰远-群体结构分析：网络中是否存在关系紧密的群体？如果有，则如何发现它们？不同群体之间有何差异？对于关系紧密的作弊团伙，我们可以增加风险预警，重点监控
3. 孰新孰老-时间演变分析：网络是如何发展的，早期网络与晚期网络有何差异？比如某个作弊团伙是处于团伙作案的初期还是中期还是晚期？
4. 孰同孰异-实体关系分析：这个网络的哪些节点比较接近，他们是属于中介还是黑产呢
5. 孰胜孰衰-综合情报决策：本问题是网络分析的核心目标，它要求我们综合研判当前已收集的群体、个体、时间情报，概括和推断目标领域的分布格局和发展态势，可以帮助我们制定风控决策，是网络分析的社会价值的体现。

2、网络节点重要性的衡量指标：

1. 度数中心性：
   与节点直接相连的边的个数，网络中一个节点的价值首先取决于这个节点在网络中所处的位置，位置越中心的节点其价值越大
2. 特征向量中心性：
   一个节点的重要性既取决于其邻居节点的数量(即该节点的度)，也取决于其邻居节点的重要性。
   换句话说，在一个网络中，如果一个人拥有很多重要的朋友，那么他也将是非常重要的
3. 聚类系数Clustering Coefficient：
   衡量节点的邻居节点之间也相互连接的程度，聚类系数越大，网络的小团体现象越严重；反应了网络或节点的信息扩散能力
4. 紧密中心性Closeness centrality
   如果节点到图中其他节点的最短距离都很小，那么它的接近中心性就很高。相比中介中心性，接近中心性更接近几何上的中心位置；
   一个中心结点应该能更快地到达网络内的其他结点；
   计算一个结点到网络内其他所有结点的平均距离的倒数
5. 中介中心性 Betweeness centrality：
   表示一个网络中经过该结点的最短路径的数量。在一个网络中，节点的介数越大，那么它在结点间的通信中所起的控制作用也越大。
   计算网络中任意两个节点的所有最短路径，如果这些最短路径中很多条都经过了某个节点，那么就认为这个节点的介中心性高。

3、社区一般常用的特征如下：

节点的个数
节点的平均度数
聚集系数
介数
一度近邻节点数
一度近邻节点中坏主体的占比
二度近邻节点数
二度近邻节点中坏主体的占比
同设备的占比
同手机号的占比
新用户的占比
社区中最长的最短路径的长度
社区的网络结构 # 通过计算每个节点的三角关系的个数，每个节点的度，来判断这个社区的网络结构
关键节点 # 度数较大或者三角关系较大的社区

4、经验总结：

1. 若一个社区中关键节点的度数较大，但是三角关系的个数较少，则该社区可能是否中介或者代办为中心的网络
   

2. 若一个社区的关键节点的度数较大，且三角关系的个数也较大，则该社区可能是联系密切的熟人社区

3. 计算社区中关键节点的逾期率，判断关键节点的逾期是否影响整个社区的逾期率

4. 一般来说，在互金借贷场景，正常社区的客户之间的联系更弱，客户之间的关联度越少

5. 如果一个账号的一度、二度联系人的风险程度越高，该账号的风险程度越高