Balanced influence maximization in social networks based on deepreinforcement learning

 ABSTRACT

   平衡影响力最大化旨在平衡社交网络中多个不同实体的影响力最大化，避免过滤气泡和回声室的出现。近年来，越来越多的研究开始关注社交网络中平衡影响力最大化的研究，并取得了一定的成功。然而，它们中的大多数仍然存在两个主要缺点。首先，以往的工作主要集中于将多个目标实体的影响力传播给更多的用户，忽略了目标实体与其他实体之间的相关性对真实社交网络中信息传播的潜在影响。其次，现有方法需要大量扩散采样来进行影响力估计，难以应用于大型社交网络。为此，我们提出了一种基于深度强化学习的平衡影响力最大化框架，名为BIM-DRL，该框架由两个核心组件组成：实体相关性评估模块和平衡种子节点选择模块。具体来说，在实体相关性评估模块中，提出了一种基于用户历史行为序列的实体相关性评估模型，能够准确评估实体相关性对信息传播的影响。在平衡种子节点选择模块中，设计基于深度强化学习的平衡影响力最大化模型，对目标函数中的参数进行训练，找到一组平衡影响力最大化的种子节点。对六个现实网络数据集的大量实验证明了 BIM-DRL 在平衡影响扩散和平衡传播准确性指标方面优于最先进的方法。

 1. Introduction

     随着互联网技术的快速发展，在线社交网络服务已成为信息时代人类生活的重要组成部分（Wang，Cao，Bu，＆Leng，2022；Wang，Cao，Bu，Wu，＆Wang，2023）。它为人们提供了通过社交媒体快速获取信息和表达意见的机会。尽管社交媒体平台的出现为人们的生活提供了极大的便利，但也放大了回声室（Garrett，2009）和过滤气泡（Pariser，2011）问题的影响。具体来说，陷入过滤气泡的用户常常难以获取不同的观点，并被孤立在他们的信息茧中。这种现象将导致社交网络的激进化，即有争议的话题越来越多，这不利于社交网络的发展。

   作为社交网络分析领域的热门话题，影响力最大化研究在实践中得到了广泛的应用，例如个性化推荐（Meng et al., 2018; Pisarski & Gralczyk, 2021）、病毒式营销（Nguyen, Thai, & Dinh） ，2017 年；Pourkhani、Abdipour、Baher 和 Moslehpour，2019 年）和谣言控制（Apte、Palshikar 和 Baskaran，2019 年；Budak、Agrawal 和 El Abbadi，2011 年）。大多数影响力最大化研究（Kaur＆He，2017；Tang，Shi，＆Xiao，2015；Yang，Shang，Hu，＆Liu，2022；Zhu et al.，2018）采用贪婪，启发式和反向影响抽样 -基于方法来研究影响最大化问题。然而，这些影响最大化解决方案在大型社交网络中仍然面临效率问题。为了解决这个问题，一些学者（Chen，Yan，Guo，＆Wu，2023；Dai，Khalil，Zhang，Dilkina，＆Song，2017；Li et al.，2022；Manchanda et al.，2020）制定了影响力最大化将问题视为组合优化问题，并通过构建深度强化学习（DRL）框架来解决它。例如，陈等人。 (Chen, Yan, et al., 2023)提出了一种基于DRL框架的影响力最大化方法，名为ToupleGDD，它捕捉了信息扩散和网络拓扑的级联效应，大大提高了运行效率。现有的影响力最大化研究虽然取得了一定的成功，但主要集中在单个实体的传播最大化上。而且他们的研究成果很难满足快速发展的在线社交网络的应用需求。因此，多实体影响力传播的研究近年来受到越来越多的关注。到目前为止，大多数关于多实体扩散场景中影响力最大化的研究（Carnes, Nagarajan, Wild, & van Zuylen, 2007; Lu, Chen, & Lakshmanan, 2015）都假设实体关系是单一的，即只有一种竞争、合作和中立。其中，只有少数学者提出了包含多个实体关系的影响力传播方法（Huang，Meng，＆Liang，2020；Huang，Meng，＆Shen，2021；Litou，Kalogeraki，＆Gunopulos，2017）。然而，这些研究方法仅以一个实体为目标来最大化影响力传播，这显然是不合理的。事实上，这些关注单一目标实体的影响力最大化研究往往会强化用户对该特定实体的既有看法，从而在一定程度上阻碍了公共社交网络内信息传播的多元化。

      为了促进信息的多元化传播，过去几年大量学者致力于影响力最大化领域的平衡影响力最大化研究（Becker, Corò, D'Angelo, & Gilbert, 2020；Gao 、谢、尚、刘和强，2021；Garimella、Gionis、Parotsidis 和 Tatti，2017；Gershtein、Milo、Youngmann 和 Zeevi，2018；Lin、Li 和 Lu，2020；Matakos、Aslay、Galbrun 和Gionis，2020；Tu、Aslay 和 Gionis，2020）。与传统的影响力最大化研究（Chen, Wang, & Yang, 2009; Kempe, Kleinberg, & Tardos, 2003; Leskovec et al., 2007; Tang et al., 2015）不同，传统的影响力最大化研究旨在最大化单个实体的影响力，平衡影响力最大化的目标是最大化用户获取信息的多样性（Matakos et al., 2020）。例如，之前的研究（Garimella et al., 2017; Tu et al., 2020）提出了一些具有理论保证的基于贪婪的方法来平衡网络中两个相对实体的信息暴露范围，取得了一些成功。随后，现有研究（Becker et al., 2020；Matakos et al., 2020）侧重于最大化多个实体的影响力，以增强信息传播的多样性。然而，现有的大多数研究（Becker et al., 2020; Garimella et al., 2017; Matakos et al., 2020; Tu et al., 2020）忽视了不同属性的用户群体之间信息传播不平衡的问题，使得在真实社交网络中有效促进信息多样性变得具有挑战性。为了解决这个问题，一些著名的研究（Gershtein et al., 2018；Lin et al., 2020）解决了具有不同属性的用户群体之间平衡信息传播的问题，为减轻信息传播中的偏差提供了有价值的见解。

   尽管上述工作取得了令人满意的结果，但它们仍然表现出两个局限性，这促使我们开发一种新颖的框架来解决多实体社交网络中的平衡影响力最大化问题。

   首先，多实体社交网络中的实体相关性评估在平衡影响力最大化的研究中很少受到关注，这限制了现实社会网络中信息的多元化传播。事实上，之前关于平衡影响力最大化的大部分研究（Becker et al., 2020; Gau et al., 2021; Garimella et al., 2017; Matakos et al., 2020; Tu et al., 2020）都简化了实体之间的相关性，并且没有充分考虑动态实体相关性对多实体社交网络中信息传播的影响。这些工作通常只关注最大化少数目标实体的影响力，而忽略了真实社交网络中其他实体与目标实体之间的潜在相关性。然而，先前的研究（Huang等，2020，2021；Litou等，2017）表明，多实体关系共存的社交网络更符合现实世界的情况。例如，黄等人。 （Huang et al., 2020）声称多实体社交网络中的任何两个实体之间都存在潜在的相关性（例如，正相关、负相关、不相关）。这些相关性会随着时间的推移而演变和变化，特别是当用户被任一实体激活时。此外，相关性的动态性质对多实体社交网络中影响力传播的研究提出了挑战。

   例如，图1说明了政治选举背景下用户A、B和C在Twitter平台上的行为。假设 Twitter 上带有各种主题标签的推文是具有不同相关性的实体。如图1所示，用户A、B和C受到多实体社交网络中各个实体的影响。由此可见，实体之间的相关性对信息传播有显着影响。具体来说，用户 A 浏览了一些标记为“Hillary2016”、“Imwithher”、“Clintonkaine2016”和“Sports”的推文，与标记为“ProHillary”的推文呈现正相关，并且分别与标记为“支持特朗普”的推文呈负相关。 “体育”等推文与标记为“支持希拉里”和“支持特朗普”的推文不相关。这些相关性使得用户 A 更有可能转发带有“支持希拉里”标签的推文。同样，我们可以推断用户 B 转发带有“支持特朗普”标签的推文的可能性更大。另一方面，用户C浏览了一些分别与标记为“支持希拉里”和“支持特朗普”的推文正相关的推文。这表明用户C受到双方意见的影响，表明倾向于对两个目标实体保持平衡的看法。因此，考虑实体相关性对信息传播的影响至关重要。

    其次，生成大量传播样本进行影响力估计需要大量的时间成本，这限制了大规模社交网络中平衡影响力最大化解决方案的性能。例如，大多数现有研究（Becker et al., 2020；Gao et al., 2021；Garimella et al., 2017；Matakos et al., 2020；Tu et al., 2020）使用反向影响采样（ RIS）（Borgs、Brautbar、Chayes 和 Lucier，2014）技术生成大量样本来估计预期传播，这会导致大量时间消耗。为了缓解这个问题，之前的工作（Matakos et al., 2020；Tu et al., 2020）扩展了随机反向可达集，以有效估计预期分布并减少生成样本的数量。然而，在实际实施中，利用RIS技术来获得良好的解决方案仍然需要投入大量的时间。此外，随着现实世界社交网络的指数级扩展，这些方法在实际场景中的有效实施变得越来越困难。受益于深度强化学习（DRL）在解决组合优化问题方面的优势，出现了一系列解决方案（Ali, Wang, Yeh, & Chen, 2020；Ali, Wang, Yeh, Li, & Chen, 2021；Chen, Yan, et al., 2023; Li et al., 2022; Manchanda et al., 2020）利用 DRL 来解决社交网络中的影响力最大化问题。通过使用可学习的参数函数来避免对随机反向可达集进行昂贵的采样，这些解决方案提高了大型社交网络中影响力最大化方法的效率。然而，现有的基于DRL的影响力最大化方法主要侧重于最大化单个实体的影响力，并简化了实体相关性对信息传播的影响。这种简化使得解决多实体中平衡影响力最大化的问题变得困难。因此，如何设计一种基于DRL的平衡影响力最大化方法来有效解决多实体社交网络中的平衡影响力最大化问题是值得探索的。

   为了克服上述限制，本文提出了一种基于深度强化学习的平衡影响力最大化框架，称为BIM-DRL。具体来说，该框架由两个核心组件组成，即实体相关性评估模块和平衡种子节点选择模块。首先，我们通过BIM-DRL框架中的实体相关性评估模块提取用户自身的历史行为序列来评估多实体社交网络的实体相关性。其次，在BIM-DRL框架的平衡种子节点选择模块中，我们通过结合图嵌入技术和深度强化学习模型为两个目标实体找到一组平衡种子节点，以最大化两个实体的影响力扩散以平衡的方式。综上所述，本研究的三重贡献如下：

    我们提出了一种名为 BIM-DRL 的新颖框架来解决多实体社交网络中平衡影响力最大化的问题。与以往过度简化多实体社交网络中的实体关联以及在大型社交网络中遇到效率问题的方法不同，BIM-DRL考虑了实体关联并利用深度强化学习（DRL）技术来提高效率。

    我们提出了一种神经网络模型，利用历史行为序列来评估多实体社交网络中的实体相关性。与以往仅以单向方式简单建模用户历史行为序列的方法不同，该模型可以通过对历史行为序列进行双向建模来捕获更深层的信息。这使我们能够准确捕获多实体社交网络中不同实体之间的相关性。

   为了平衡两个目标实体的传播最大化，我们将平衡最大化问题表述为参数优化问题，并结合图嵌入技术和深度强化学习模型来训练目标函数中的参数。与现有平衡影响力最大化研究最显着的区别在于，我们的方法可以通过学习和训练参数来准确地找到一组平衡种子节点，从而减少了影响力估计带来的巨大计算成本。

2. Related work

    本节从多实体影响力最大化、平衡影响力最大化和基于深度强化学习的影响力最大化三个方面总结了社交网络影响力最大化问题的研究。

2.1. Multi-entity influence maximization

   文献中涌现出大量针对多实体影响力最大化的方法，并取得了一定的成功。然而，大多数关于社交网络传播最大化的研究仍然集中在最大化实体的影响力上。该领域现有的工作主要可分为三类：贪婪方法、启发式方法和剪枝方法。

  先前的研究（Kempe et al., 2003）表明，如果目标函数是单调且子模的，那么在解决社交网络中的传播最大化问题时，贪心方法可以提供 63% 精度下界的理论近似保证。例如，针对多实体传播场景下阻止负面影响节点集选择的问题，Kaur等人。 (Kaur & He, 2017)证明了问题的目标优化函数是单调且子模的，并设计了BNINS贪心算法。为了描述不同类型和关联程度的多实体传输场景，Litou等人。 (Litou et al., 2017) 证明了该问题的目标函数是子模的，设计了基于贪心策略的种子节点选择方法，最终提出了CCDLT（相关传染动态线性阈值）模型。为了进一步提高算法的效率，研究人员根据不同传输场景下信息扩散的特点提出了多种方法。例如，卢等人。 (Lu et al., 2015)研究了互补实体传播场景中的两个NP难题，即自我影响最大化和互补影响最大化。并提出了一种基于反向可达集和三明治策略的高效逼近算法。张等人。 (Zhang, Wang, Zhan, & Philip, 2016) 提出了一种贪婪框架 TIER (interTwined Influence Estimator)，以解决具有多个竞争、互补和中立实体的网络中的影响力最大化问题。模型TIER可以通过推断其他实体的传播策略来逐步选择目标实体的最优种子节点。

    启发式方法主要利用网络的拓扑结构来衡量节点的重要性，然后选择合适的节点种子节点。吴等人。 (Wu & Pan, 2017) 提出了两种启发式算法，命名为 CMIA-H 和 CMIA-O。这两种算法可以通过挑选积极的种子节点来扩大积极影响的传播，在大型社交网络中具有良好的可扩展性。为了解决竞争性社交网络中位置感知影响力阻止最大化的问题，Zhu 等人。 (Zhu et al., 2018)提出了两种基于四叉树索引和最大影响树结构的启发式算法LIBM-H和LIBM-C。朱等人。 Zhu等人，2019）通过考虑用户兴趣和位置信息，进一步研究了竞争性社交网络中的阻塞影响力最大化问题，并提出了一种基于QT树和MIA结构的启发式算法LTIBM-H来解决该问题。

     剪枝方法起源于复杂网络控制鲁棒性的比较研究（Chen，Lou，＆Wang，2019）。由于研究多实体社交网络影响力最大化的剪枝方法仍处于起步阶段，很少有人关注这个问题。剪枝方法的最新研究主要可分为从网络中删除和添加与节点相关的边（Kuhlman、Tuli、Swarup、Marathe 和 Ravi，2013；Zhao、Liu、Wang 和 Wang，2016）。去边方法侧重于通过去除相关节点的边来修改网络拓扑，以达到阻止影响传播的目的（Kuhlman et al., 2013）。例如，库尔曼等人。 （Kuhlman et al., 2013）通过修剪网络中节点的边缘，研究了多实体扩散场景中阻止传染传播的问题。而添加边方法则侧重于通过添加相关节点的边来修改网络拓扑，以达到影响力传播最大化的目标（Zhao et al., 2016）。例如，赵等人。 (Zhao et al., 2016)通过在节点之间添加边解决多实体社交网络中的竞争影响力最大化问题。

     总的来说，上述多实体影响力最大化算法研究的是某个实体在不同的多实体传播场景下的影响力最大化。然而，仅针对某一实体最大化影响力传播会强化用户对某一实体的固有认知，从而阻碍信息传播的多样性。因此，社交媒体平台上的用户很难接触到不同的观点，极有可能发生潜在的社会冲突。

2.2. Balanced influence maximization

  近年来出现了一系列关于平衡影响力最大化的研究。这些研究旨在改善在线社交网络中的回声室效应并过滤气泡。例如，加里梅拉等人。 (Garimella et al., 2017) 最早使用信息传播方法来解决信息平衡曝光问题。并且，他们设计了一种近似算法，可以在一定程度上解决异构和相关设置下的信息平衡曝光问题。为了最大化两个目标实体的平衡暴露，Tu 等人。 (Tu et al., 2020)基于独立级联(IC)模型提出了随机反向可达对集的概念，并设计了具有近似保证的TCEM算法。贝克尔等人。 (Becker et al., 2020)进一步研究了文献(Garimella et al., 2017)中提出的平衡曝光问题。他们假设社交网络中存在多个实体扩散，并为异构设置和关联设置下的多实体扩散场景提供了相应的逼近算法和逼近理论保证。为了进一步提高信息传播的多样性，考虑到用户的个人倾向，Matakos等人。 (Matakos et al., 2020)提出了暴露多样性的概念，以在影响传播最大化和信息多样性暴露之间取得良好的平衡，然后设计了近似求解算法TDEM来扩展随机反向可达集。高等人。 （Gao et al., 2021）引入了平衡竞争的独立级联模型来描述社交网络中两个相似竞争实体之间的信息平衡传播。他们还设计了BRIS（Blocked Reverse Influence Sampling）算法来解决平衡竞争影响力最大化的问题。

   最近，有一些工作（Gershtein et al., 2018；Lin et al., 2020）专注于具有不同属性的用户群体的信息平衡最大化。例如，格什泰因等人。 (Gershtein et al., 2018)提出了IM-Balanced方法，为最大化影响力扩散和对受保护群体的影响力的平衡约束下提供了理论保证。同样，林等人。 (Lin et al., 2020)研究了属性社交网络中的平衡影响力最大化问题，提出了一种基于属性的反向影响力采样方法来选择种子节点，旨在实现影响力最大化与不同用户属性群体之间的良好平衡。

   总之，先前关于平衡影响力最大化的研究有两个主要局限性。首先，大多数假设不同实体的传播是相互独立的，没有考虑实体之间的相关性对传播的影响。其次，这些方法需要进行大量的扩散样本并生成足够的传播样本才能找到合适的种子节点，在不牺牲效率的情况下很难进一步提高算法的运行效果。因此，需要开发更有效和高效的算法来解决这些限制。

2.3. Influence maximization based on Deep Reinforcement Learning

   深度强化学习（DRL）是一种结合了强化学习和深度学习优点的框架，在解决组合优化问题方面具有良好的泛化性能（Amirinezhad, Salehkaleybar, & Hashemi, 2022；Chen, Wang, & Lu, 2023；Tsantekidis 、Passalis 和 Tefas，2023；Yang 等人，2023；Zhu、Shi、Xu 和 Cao，2023）。在 DRL 优势的鼓励下，越来越多的研究（Chen, Yan, et al., 2023; Dai et al., 2017; Li et al., 2022; Liu, Sze, Gau, & Chen, 2021; Ma et al., 2021; al., 2022; Manchanda et al., 2020; Wang, Liu, Gau, & Chen, 2021）最近尝试采用 DRL 技术来解决组合优化问题。先前的研究（Kempe et al., 2003）已经验证了社交网络影响力最大化可以定义为组合优化问题。因此，DRL的出现自然为学者们研究影响力最大化问题开辟了一条新途径。大多数现有的基于 DRL 的影响力最大化方法（Chen, Yan, et al., 2023; Dai et al., 2017; Li et al., 2022; Ma et al., 2022; Manchanda et al., 2020; Wang et al., 2021）通过结合图嵌入方法和 DRL 技术解决了社交网络中影响力最大化的问题。例如，哈利勒等人。 (Dai et al., 2017) 提出了一种名为 S2V-DQN 的端到端 DRL 框架，结合图嵌入方法和 DRL 模型来解决图上的组合优化问题。为了提高 S2V-DQN 在大型社交网络上的计算效率，Manchanda 等人。 (Manchanda et al., 2020) 提出了一种有监督的 DRL 模型 GCOMB，通过 DQN（Deep Q Network）修剪坏节点，并以有监督的方式学习节点的低维特征，从而扩展 S2V-DQN。通过利用 DRL 和网络嵌入技术的力量，Li 等人。 （Li et al., 2022）提出了一种可扩展的基于 DRL 的框架，称为 PIANO。该框架通过在原始网络的子网络上进行训练来降低训练成本，并允许训练后的模型直接应用于原始网络。但该方法无法推广到具有不同拓扑特征的非同质网络，具有一定的局限性。为了提高模型在具有不同拓扑特征的网络中的泛化能力，Chen 等人。 (Chen, Yan, et al., 2023) 提出了一种名为 ToupleGDD 的基于 DRL 的框架，该框架应用图神经网络技术来捕获信息扩散和网络拓扑的级联效应。为了解决社交网络中影响力重叠的问题，Liu 等人。 (Liu et al., 2021)提出MAIM方法，利用多个强化学习代理去除影响严重重叠的节点，并结合Memory Separated Deep Q-Network提高效率为了拓宽基于 DRL 的影响力最大化方法的应用场景，开展了多项研究（Ali, Wang, & Chen, 2018；Ali et al., 2020, 2021；He et al., 2021；Lin, Lin, & Chen, 2015）最近关注的焦点是竞争环境。例如，阿里等人。 （Ali et al., 2020）研究了未知社交网络中的竞争影响力最大化问题。他们提出了一个基于 DRL 的框架，该框架结合了迁移学习来识别未知社交网络中有影响力的种子节点。为了进一步探讨动态社交网络中的竞争影响力最大化问题，Ali 等人。 （Ali et al., 2021）提出了一种利用网络嵌入技术的 DRL-EMB 框架。该框架有效地捕获不断变化的网络拓扑并识别关键用户以最大化特定方的影响力。为了对签名社交网络中的竞争性意见传播过程进行建模，He 等人。 (He et al., 2021) 提出了一种基于无状态 Q 学习方法的激活动态意见模型。尽管这些工作为竞争环境中的影响力最大化提供了一些有效的基于DRL的解决方案，但它们仅关注于最大化一个实体的影响力，而没有同时考虑三种实体相关性（即正相关性、负相关性）的影响，并且不相关，关于信息传播。

     综上所述，与传统的影响力最大化方法相比，基于DRL的影响力最大化方法可以通过训练学习目标函数的最优参数来减少影响力估计带来的巨大计算成本。同时，他们在解决大型社交网络中的影响力最大化问题上具有出色的泛化能力。然而，现有的基于DRL的影响力最大化方法主要针对单实体网络，难以解决多实体社交网络中的平衡影响力最大化问题。

3. Problem formulation

   在本节中，针对多实体社交网络中的平衡影响力最大化问题，我们首先介绍问题的输入、扩散模型和传播设置，然后提供一些相关的基本定义，最后正式描述问题。

输入问题。平衡暴露最大化问题的输入由以下三部分组成： (1) 有向社交网络 G = (V , E, I) 其中 |V | = n 个节点和 |E| = m 条边，其中 I = {i1, i2, ... , il} 是实体的集合，l 是社交网络中实体的数量； （2）一个有争议的话题导致两个目标实体ix ∈ I 和iy ∈ I 传播； (3) 节点u在社交网络中传播实体ix和实体iy的概率，可分别表示为pix(u,v)和piy(u,v)。

扩散模型。受文献（Garimella et al., 2017）的启发，我们在IC模型的基础上设计了BIC（Balanced Independent Cascade）模型来模拟信息传播。具体来说，给定社交网络 G = (V , E, p1, p2) 和种子集 S ⊆ V ，其中 p1 和 p2 分别是目标实体 ix 和 iy 的传播概率。模型将按照以下规则进行离散时间戳中信息的模拟传播。假设节点 u 在时间 t 被激活，它将分别以概率 p1 和 p2 激活其邻域中的不活动节点 v。如果节点 v 被 ix 成功激活，那么它将在 t + 1 时刻成为 ix 的活动节点。 如果节点 v 被 iy 成功激活，那么它将在 t + 1 时刻成为 iy 的活动节点。 如果节点 v 是如果同时被两个目标实体激活或忽略，则在 t+1 时刻成为 ix 和 iy 的平衡节点，并且节点 u 在后续时间戳中无法激活其他节点。请注意，上述循环过程在没有新节点激活时实现收敛。

传播设置。按照之前的工作（Garimella 等人，2017）中提出的方法，本研究旨在模拟两个特定实体的扩散之间的相互影响。它考虑了信息传播的相关和异构设置。在相关设置中，两个目标实体的传播概率是相关的，即 pix (u, v) = piy (u, v)。而在异构环境中，两个目标实体的传播概率是相互独立的，即pix(u,v)≠piy(u,v)。在这两种传播设置中，众所周知，真实社交网络中异构设置比相关设置更现实。然而，相关设置确实是一种可能的传播场景，并且在之前关于平衡影响最大化的研究中也进行了讨论（Becker et al., 2020；Garimella et al., 2017）。因此，为了准确评估方法在真实社交网络中的有效性，有必要将两种设置都视为传播设置。

在现实生活中的社交网络中，一个有争议的话题往往会导致出现两组持不同观点的用户。这两个群体通常都固执己见，不愿意接受彼此观点的影响。除了这两类用户之外，还有一些对争议话题持平衡观点的用户。这些平衡的用户不偏向争议话题的任何一方，平衡的观点通过这些用户的社交网络传播给更多的用户，有助于信息传播的多样性，改善社交网络中的回声室现象。为了更好地描述平衡用户对信息多样性传播的影响，给出下面的例子。

例1. 如图2(a)所示，u1是实体x的激活节点，u3是实体y的激活节点，u2是两个实体x和y的平衡节点。在图2(b)中，平衡节点将其平衡传播到其邻居节点，使得更多的节点接受实体的平衡影响并成为平衡节点。

定义 1（平衡曝光系数）。假设pi u 和pj u 分别是节点u 受实体i 和实体j 影响的概率。节点u的平衡暴露系数可以定义为：

一般来说，平衡暴露系数Du(i,j)越大，节点u就越有可能成为实体i和j的平衡节点。否则，节点 u 成为实体 i 和 j 的平衡节点的可能性较小。

研究多实体关系共存的社交网络中的平衡最大化问题，不仅需要考虑两个目标实体的平衡传播最大化，还需要考虑实体相关性对信息扩散的影响。实体相关性定义如下：

定义 2（实体相关性）。设p(va)表示实体a对用户v的激活概率，p(va|vb)表示实体b激活用户v后实体a对用户v的条件激活概率。

（1）正相关：当p(va|vb) p(va) > 1时，实体a和b呈正相关；

（2）负相关：当p(va|vb) p(va) < 1时，实体a和b负相关；

(3) 不相关：当p(va|vb) p(va) = 1时，实体a和b不相关。

多实体社交网络中的平衡影响力最大化问题定义如下：

定义 3（多实体社交网络中的平衡影响力最大化）。给定一个具有 l 个实体的社交网络 G = (V , E)，两个目标实体的初始节点集 Vix ⊆ V 和 Viy ⊆ V。多实体社交网络中平衡影响力最大化的任务是找到k个平衡种子节点。使l个实体中同时受到两个目标实体ix和iy影响或忽略的节点数量最大化。因此，其目标函数可由下式计算：

其中 σix∈I (⋅) 和 σiy∈I (⋅) 分别表示实体 ix 和 iy 传输范围的影响； S*表示平衡种子节点集，⊕表示异或的含义，其中|S*| ≤ k； I = {i1, i2, ... , il} 表示社交网络中所有实体的集合，Φ(S*) 表示被两个目标实体同时激活或忽略的节点的预期数量。

此外，我们在附录中提供了多实体社交网络中平衡影响力最大化的理论分析。现有的大多数关于平衡影响最大化的研究仍然存在两个局限性，即求解过程中计算成本巨大和泛化性差。为此，我们将平衡影响最大化问题转化为参数优化的强化学习问题。我们通过寻找最优策略来选择平衡种子节点，即将平衡影响力最大化的边际增益转化为强化学习中的价值函数。然后用参数化函数来近似值函数。深度强化学习的平衡影响最大化问题定义如下：

定义 4（通过深度强化学习平衡影响力最大化）。

深度强化学习平衡影响力最大化的任务是通过训练获得最优策略，使平衡影响力最大化。问题分为两个主要阶段。

(1) 训练阶段：给定一组训练图G={G1,G2,…,Gc}，一个信息扩散模型ψ和一个扩散影响函数Φ∶S*→R+，训练一组参数θ，使 ̂ Φ(v, S*; θ) 近似于 Φ(v; S*)。

（2）测试阶段：给定目标社交网络G*、学习参数θ和正整数K，求解信息扩散模型ψ下预算K的平衡影响最大化问题

4. The proposed method

   在本节中，我们提出了所提出的用于平衡影响力最大化的 BIM-DRL 框架。首先介绍了BIM-DRL的总体框架，然后详细描述了实体相关性评估模块和平衡种子节点选择模块。最后给出了BIM-DRL的时间复杂度分析。

4.1. The overall framework of BIM-DRL

   图3展示了本文中BIM-DRL的总体框架。 BIM-DRL框架可以通过挖掘用户的历史行为序列信息来评估实体相关性。进而可以在多实体社交网络中找到合适的平衡种子节点以实现平衡影响力最大化。具体来说，BIM-DRL主要由两个核心组件组成，即实体相关性评估模块和平衡种子节点选择模块。

  在实体相关性评估模块中，首先提取用户在社交网络中的历史行为序列信息和两个目标实体的特征信息进行矢量化编码。然后通过 Bi-LSTM 预测用户被两个目标实体激活的概率（Schuster & Paliwal，1997）。最终得到用户的平衡曝光系数。

  在平衡种子节点选择模块中，首先根据获得的平衡暴露系数构建目标网络，并通过Structure2vec学习目标网络的向量表示（Ribeiro, Saverese, & Figueiredo, 2017）。然后，通过DRL计算每个节点的Qvalue。最后，基于ε-贪婪策略选择平衡种子节点。

4.2. Entity correlation evaluation module

    在现实的社交网络中，用户可以通过微博1、Twitter2、Facebook3等社交平台浏览和发布各种类型的信息。因此，基于用户之前的行为记录，形成了大量的用户历史行为序列。这些序列包含丰富的信息，可以挖掘这些信息来捕获多实体社交网络中的实体相关性。这使得能够准确预测用户受目标实体影响的概率。

  虽然RNVGA（Huang et al., 2020）和DRHGA（Huang et al., 2021）也是基于用户的历史行为记录进行预测，但这两种方法只能以单向的方式对历史行为序列进行建模，无法捕获用户历史行为序列中更深层的信息。 Bi-LSTM 作为 RNN 的变体模型，可以通过两个独立的 LSTM 网络处理前向和后向序列数据。这使其能够学习序列数据中的长期依赖性。在实体相关性评估模块中，我们使用Bi-LSTM对用户的历史行为序列进行双向建模。这允许更准确地评估多实体社交网络中的实体相关性。

  营销研究，例如麦克弗森等人进行的研究。 （McPherson、Smith-Lovin 和 Cook，2001）已经证明，用户评级反映了他们对当前采用的项目的兴趣偏好。这表明用户当前的评分信息对其下一步行为具有重要影响。为了对用户的历史行为序列进行建模，我们使用实体的编号序列 N = {n1, n2, ... , nt} 和实体的评级序列 R = {r1, r2, ... , rt}。该序列根据用户与实体交互的时间戳进行排列，其中 nt 和 rt 分别表示用户与实体之间最近交互的实体编号和评级。

为了预测用户受两个目标实体影响的概率，我们使用两个目标实体的编号信息na和nb分别作为目标实体a和b的特征值。首先，为了获得特征向量，我们首先对用户的历史行为序列和两个目标实体的编号信息进行向量化和编码。这产生了特征向量 Su ∈ Rd×Ea 、 Sa ∈ Rd×Ea 和 Sb ∈ Rd×Ea ，其中 d 表示用户传播的实体数量，Ea 是嵌入向量的维度。接下来，我们将 Sa 和 Sb 与 Su 融合，得到向量 Sx = {s1 x, s2 x, ... , sd x } ∈ Rd×Ea 和 Sy = {s1 y, s2 y, ... , sd y }分别为特征融合后的 ε Rd×Ea 。然后，我们将向量 Sx 和 Sy 输入到 Bi-LSTM 模型中。

我们可以通过连接前向和后向 LSTM 表示来得到 Sx 的最终隐藏层向量，表示为 hl x = [⃖⃖⃖⃗ hl x; ⃖⃖⃖⃖ hl x]，其中 hl x ∈ Rdl ，dl 是 LSTM 隐藏单元大小的两倍。这里，用户历史行为序列的最终表示是通过取最后一层（L）的隐藏状态来计算的：

类似地，Sy的最终隐藏层向量和最后一层的隐藏状态hL y可以用类似的方法计算。

最后，经过Bi-LSTM后，输出值被输入到Sigmoid函数中，生成概率值pa v ε (0, 1)和pb v ε (0, 1)，代表用户被激活的可能性分别由目标实体a和b。本文使用交叉熵函数作为Bi-LSTM的损失函数，定义如下：

其中D表示所有数据样本，N表示样本数量，y ∈ {0, 1}是指示用户是否被目标实体激活的标签，p(x)表示被激活的概率。

Bi-LSTM通过分析实体N的编号序列和实体R的评分序列，可以准确估计概率p(oa|n(1∶t), r(1∶t))和p(ob|n(1) ∶t)、r(1∶t))，分别表示用户被目标实体a和b激活的可能性。假设 p(oa) 和 p(ob) 服从高斯分布，即 p(oa) ∼ N(0, 1) 和 p(ob) ∼ N(0, 1)，我们可以得到平衡的概率使用定义1和2在用户中传播的两个目标实体的意见，如下

4.3. Balanced seed node selection module 

   现有的大多数平衡影响最大化问题的研究在选择种子节点时需要生成足够的传播样本来估计影响扩散，这导致泛化能力较差。为了解决这个问题，我们采用深度强化学习（DRL）技术来缓解种子节点选择过程中的扩散采样问题。

图3 BIM-DRL总体框架。我们的BIM-DRL由两个核心模块组成：实体相关性评估模块和平衡种子节点选择模块。在实体相关性评估模块中，采用神经网络模型，通过对用户的历史行为序列进行双向建模，准确捕获多实体社交网络中不同实体之间的相关性。在平衡种子节点选择模块中，提出了一种基于深度强化学习的平衡影响力最大化方法来选择合适的平衡种子节点。

图3说明了BIM-DRL的平衡种子节点选择模块，该模块由三个主要组件组成：目标网络嵌入、Q值计算和节点选择。

4.3.1. Target network embedding

   目标网络嵌入过程首先使用等式计算每对节点之间的平衡传播概率。 （6）。基于这个概率，我们构建目标网络。接下来，我们采用图嵌入方法提取网络中每个节点的拓扑信息并将其嵌入到特征向量中。在这里，我们选择使用 Structure2vec（Ribeiro et al., 2017）在目标网络 G* 上进行图嵌入，因为它具有众多优点。首先，Structure2vec可以将目标网络中的节点、边和网络结构的拓扑特征嵌入到特征空间中，并根据目标网络的状态递归聚合它们。其次，Structure2vec可以直接将子图训练得到的参数应用到目标网络中，从而避免了重复迭代训练的需要。

  为了提供更具体的描述，我们首先计算目标网络 G* 中每个节点 v 的 q 维特征嵌入。随后，我们将维度为 q 的节点向量初始化为 64。然后根据目标网络 G* 的拓扑特征递归地定义网络架构。为了获得节点的最终表示，我们将此过程迭代 J 次。具体计算公式如下：

其中ReLU指非线性激活函数，N(v)表示节点v的邻居节点集合。x(j) v指节点v在第j次迭代时的状态向量，w(v, u)是初始值节点v对节点u的影响权重，α1、α2、α3、α4为待训练参数。另外，av是节点v的标签向量，如果节点v被选为平衡种子节点，则av = 1，否则av = 0。

4.3.2. Q-value calculation

  为了解决多实体社交网络中的平衡影响力最大化问题，我们将该问题表述为基于 DRL 的平衡影响力最大化问题。这种方法使我们能够找到选择种子节点的最佳策略，以实现平衡影响力最大化。具体来说，我们提出的方法包含 DRL 的以下组成部分。

State：St指的是目标网络G*的当前状态，其中包括一些已被选为平衡种子节点的节点。我们的目标是达到最终状态，其中恰好有 k 个节点被选为平衡种子节点

Action:At = v 表示节点 v ∈ V ⧵ S* 被添加到平衡种子节点集 S* 中。此操作导致 v 的标签向量更新为 av = 1

Reward：Rt+1 ∈ R 表示在状态 St 下执行动作 At，导致环境状态变为 St+1 所获得的奖励。具体来说，Rt+1(St, At) = Φ(St+1) − Φ(St) 表示网络平衡范围的增加。

Transition:当节点v被选为平衡种子节点时，其标签向量av将从0变为1。

Policy:策略的目标是确定一系列可以最大化累积奖励 E[Σk i=1 R(Si, Ai=v)] 的行动序列。这可以表示为最优策略 π* = (A1, A2, ... , Ak)。

在Q值计算中，我们使用Q函数来近似状态-动作值函数，表示为 ̂ Q(v, St; θ) = ̂ Φ(v, St; θ)。具体来说，当状态为St，采取的动作At=v时，̂Q(v,St;θ)可以定义如下：

其中 xJ v ∈ Rq 向量是经过 J 次迭代生成的，[a, b] 表示两个向量 a 和 b 的串联算子，β1 ∈ R128，β2 ∈ R64×64，β3 ∈ R64×64。由于 ̂ Q(v, St; θ) 的值主要由节点 v 的当前状态及其邻居节点的嵌入决定，因此 Q 函数可以与参数 α1 ∼ α4 和 β1 ∼ β3 相关。为了简洁起见，参数集 θ 可以表示为 θ = {α1, ... , α4, β1, ... , β3}。

在本研究中，最优Q函数是指对于给定的目标网络和预算能够找到k个最优平衡种子节点的策略。给定一个目标网络 G*，k 个平衡种子节点的预算，以及一组平衡种子节点 S*。具体步骤如下：在每一步t使用Q函数计算每个节点的Q值。随后，具有最高 Q 值的节点被添加到平衡种子节点集合 S* 中。这个过程可以表述为：

当一个新的节点v加入到平衡种子节点集S*后，其标签向量av将从0变为1，环境状态也随之更新。然后，网络中所有节点的嵌入向量更新为新状态St+1。最后，使用 ̂ Q(v, St+1; θ) 重新评估网络中每个节点的 Q 值，并选择一个新节点添加到平衡种子节点集 S* 中。为了最大化平衡影响力，将上述步骤重复k次，得到k个平衡种子节点。

  为了训练 Q 函数，本文使用 DDQN (Van Hasselt, Guez, & Silver, 2016) 来寻找最佳 Q 函数。与简单的DQN相比，DDQN通过使用行为网络和目标网络避免了训练过程中的过度乐观问题。并且，这些网络分别使用 θ 和 θ' 进行参数化。在行为网络的训练过程中，目标网络提供未来状态的 Q 值估计。这有助于稳定训练并避免过度拟合。每m次迭代后，目标网络的θ′通过行为网络的θ进行更新。这确保了目标网络始终是最新的，并提供 Q 值的准确估计。

   为了更准确地估计未来的奖励，我们使用 n 步 Qlearning (Sutton & Barto, 2018) 来更新参数，即在更新参数之前等待 n 步，其中每一步代表向平衡种子节点集合添加一个节点。与传统的 Q-learning 相比，n 步 Q-learning 确实在学习效率和稳定性方面提供了潜在的改进。此外，我们将拟合Q迭代（Riedmiller，2005）与经验回放相结合，以实现学习的快速收敛。在训练过程中，DDQN的损失函数可以计算为

其中 y = Σn−1 i=0 γir(St+i, ut+1) + γnmaxv ̂ Q(v, St+n; θ′)，γε (0, 1) 是未来奖励的贴现率。

  算法1展示了DDQN的训练过程。具体来说，在每次迭代中，平衡种子集 S* 和 θ 都会被初始化（第 13 行）。然后，基于ε-贪婪策略选择平衡种子节点，即随机采样一个数p ∈ [0, 1)。如果 p < ε，则随机选择一个节点以概率 ε 添加到平衡种子集 S* 中。如果 p > ε，则选择具有最高 Q 值的节点以概率 1 − ε 添加到平衡种子集 S*（第 4-21 行）。如果 t ≥ n，则将当前样本 〈St−n, vt−n, Σn−1 i=0 γir(St−n+i, vt−n+i), St〉 添加到经验回放记忆 M 中（第 22-24 行）。最后，我们从经验回放内存中随机选择一批样本，使用 Adam 优化器更新 θ，并在每 m 次迭代后通过 θ 更新 θ′（第 26-28 行）。将上述过程重复H次，即可获知参数θ。

4.3.3. Node selection

   现有的研究（Li et al., 2022）已经证实，迭代选择种子节点和迭代选择种子节点之间的预期传播存在很小的差距。一次选择 Q 值最高的前 k 个节点。受此启发，在节点选择阶段，直接在目标网络上利用参数θ来选择平衡种子节点。平衡种子选择的伪代码如算法 2 所示。

具体来说，给定目标网络 G*、预算 k 和训练参数 θ，我们首先初始化平衡种子节点集 S* 和每个节点的嵌入向量（行1）。然后，我们根据训练中获得的参数 {α1, α2, α3, α4} ⊆ θ 更新每个节点的嵌入向量（第 2-6 行）。接下来，根据学习到的参数 {β1, β2, β3} ⊆ θ 评估每个节点的 Q 值（第 7-9 行）。最后，选择具有前 K 个最高 Q 值的节点并将其添加到平衡种子节点集 S*（第 10-11 行）。可以获得最终的平衡种子集S*（第12行）。

4.4. Time complexity

BIM-DRL的计算时间成本由三部分组成：（1）实体相关性评估模块，（2）Q值计算，（3）节点选择。对于第一部分，时间复杂度为 O(n × l × Ea)，其中 n 是节点数，l 是 Bi-LSTM 层数，Ea 是历史行为序列嵌入的维度。对于第二部分，由于每个节点的嵌入需要J轮迭代更新，并且每轮更新需要通过边遍历其他邻居节点，因此时间复杂度为O(H × K × J × (|V | + | E|))，其中H是剧集数，K是预算数，J是迭代数。对于第三部分，节点选择的时间复杂度主要受节点数量|V|的影响。和邻居节点的数量 |N(v)|，导致时间复杂度为 O(|V | × |N(v)|)。因此，BIM-DRL的整体时间复杂度为 O(n × l × Ea) + O(H × K × J × (|V | + |E|)) + O(|V | × |N(v) |）。

5. Experiments

   在本节中，我们首先介绍实验设置，包括实验数据集、基线方法、评估指标和实现细节。接下来，为了验证所提出的 BIM-DRL 的优越性，我们与其他基线方法进行了广泛的比较实验。最后，我们对模型进行了消融实验和超参数研究，以研究 BIM-DRL 中不同组件和超参数对其整体性能的影响。

5.1. Experimental setup

5.1.1. Datasets

  为了模拟多实体社交网络中的信息传播场景，我们选择了六个包含用户历史行为序列的公共数据集。这些数据集已被广泛使用（Chen et al., 2019；Shi, Liu, Zhuang, Yu, & Wu, 2016；Song, Shaw, Wang, Charlin, 张, & Tang, 2019；Tang, Gau, & Liu, 2012；Zheng,刘、史、庄、李和吴，2017）。具体来说，Ciao4源自一个产品评论论坛，其中包含论坛中用户对各种产品的评价信息。豆瓣书5和豆瓣电影6源自某著名评论网站，收集用户对各种书籍和电影的评分信息。 Yelp7 是根据美国商业评论网络构建的数据集，其中包含各种企业的用户评分。 Epinions8是由大型消费者评论网站构建的数据集，其中包含用户对产品的评分以及用户之间的信任关系。 Flixster9源自一个移动和社交评分网站，其中包含用户对各种电影的评分信息。上述实验数据集的统计数据总结于表1中。

   以数据集Ciao的统计为例，该数据集的网络有2,248个节点、57,544条边、16,861个项目和36,065个评分，其中目标实体ix和iy的初始节点数分别为234和422。由于节点之间的初始影响权重不包含在六个原始数据集中，我们按照工作（Chen，Wang，＆Wang，2010）设置w（u，v）= 1∕（din v ），其中v中的d表示节点 v 的入度。

5.1.2. Baseline methods

  我们将所提出的 BIM-DRL 与以下基线方法进行比较，包括两种传统影响力最大化方法（即 IMM 和 SSA）、两种最先进的平衡影响力最大化方法（即 TCEM 和 TDEM）和两种状态-最先进的基于 DRL 的影响最大化方法（即 S2V-DQN 和 ToupleGDD）。

 IMM（Tang et al.，2015）：IMM是一种基于鞅统计方法来估计影响力扩张下界的算法，它将反向可达集中出现频率较高的节点作为种子节点。

SSA (Nguyen, Thai, & Dinh, 2016)：SSA 是基于反向影响采样思想的代表性算法之一。它采用了stop-and-stare策略，大大提高了算法的运行效率。

S2V-DQN (Dai et al., 2017)：S2V-DQN 是一种基于学习的优化算法，通过结合强化学习和图嵌入技术来解决图上的优化问题。 TCEM（Tu et al., 2020）：该方法是一种具有可证明保证的近似算法，通过引入随机反向可达集的新概念，在解决社交网络中的最大化暴露问题方面具有良好的性能。

TDEM（Matakos et al., 2020）：该方法是一种具有良好可扩展性的贪心算法，通过引入随机反向共同暴露集的概念，提高了社交网络中信息暴露的多样性。

ToupleGDD（Chen，Yan，et al.，2023）：这种方法是一种结合了图神经网络和深度强化学习模型的影响力最大化框架。它通过耦合三个图神经网络来捕捉信息的级联效应，在解决大规模网络中影响力最大化问题时具有良好的泛化性

5.1.3. Evaluation metrics and implementation details

  为了评估 BIM-DRL 和基线方法的整体性能，我们遵循工作（Garimella 等人，2017）并采用平衡的影响力分布和运行时间作为评估指标。平衡影响力传播是指网络中的节点同时被两个目标实体激活或忽略。此外，为了进一步评估BIM-DRL平衡传播的准确性，采用Precision、Recall和F1-Score作为评估指标。具体来说，我们关注方法找到一组最大化平衡影响力的种子节点的能力，其中

其中TP和FP分别表示真实和错误检测到的平衡节点的数量，TN和FN分别表示真实和错误检测到的不平衡节点的数量。一般来说，Precision 和 Recall 分别关注平衡传播的准确性和完整性，而 F1-Score 提供了整体评估视角（Zhu, Wu, Wang, Cao, & Cao, 2019）。

5.1.4. Implementation details

  在本实验的训练阶段，我们通过生成 25 个节点大小范围为 100 到 150 的随机 Erdős-Renyi (ER) 图来训练 DDQN。具体来说，首先，我们在 100 到 150 范围内均匀地随机采样节点数接下来，我们以 0.2 的概率为这些节点生成边。之后获得 25 个不同大小的 ER 图。在这些生成的合成图中，20 个图用于训练，5 个图用于验证。

BIM-DRL模型配置如下参数设置：丢失率λ设置为0.1，折扣率γ设置为0.95，嵌入维度大小Ea和q均设置为64，迭代次数H为DDQN 设置为 20,000。此外，我们以线性方式将探索概率ε设置为从1到0.05。一次从M中抽取的样本数设置为64，采用学习率为0.001的Adam优化器。

  为了公平起见，我们在基线方法中使用与 BIM-DRL 模型相同的 BIC 模型进行信息传播。具体来说，我们执行 10,000 次蒙特卡洛模拟来模拟信息在目标网络中的传播。然后将这些模拟得到的平均值作为每个种子节点集的最终影响范围。为了模拟信息扩散的相关性和异构性设置，我们在相关性设置下将BIC模型的p1和p2（即目标实体ix和iy的传播概率）设置为0.05。在异构设置下，我们将 BIC 模型的 p1 和 p2 分别设置为 0.01 和 0.10。所有基线方法都是根据各自相关文献中报告的最佳参数设置的。

对于S2V-DQN、ToupleGDD和BIM-DRL，我们利用反向影响采样技术来估计训练期间种子集的影响传播。对于BIM-DRL和其他基线方法，我们重复实验10次，最终结果被确定为这些实验结果获得的平均值。这是值得注意的是，原始论文和实践经验表明TCEM不适合处理大规模数据集，因为很难在可接受的时间内获得结果。因此，TCEM在较大的Flixster和豆瓣电影数据集上的实验结果没有记录。所有实验均在 64 位 Windows10 操作系统上进行，配备 2.60 GHz Intel(R) Xeon(R) Platinum 8350C CPU、84 GB RAM 和 24 GB RTX 3090 GPU，并在 TensorFlow10 中实现。

5.2. Balanced influence spread

   为了评估 BIM-DRL 的有效性，我们首先将每个算法选择的种子节点集的大小 k 设置为 50。然后，通过改变 k 的大小，我们将 BIM-DRL 与其他基线的平衡影响传播性能进行比较相关和异构设置下的方法。

5.2.1. Under correlated setting

   

图4. 相关设置下的平衡影响力分布比较。

图 4 说明了 BIM-DRL 和其他基线方法在相关设置下对六个不同数据集的平衡影响分布。根据该图，我们可以得出以下结论：

总体而言，BIM-DRL 在六个数据集上的平衡影响力分布优于其他基线方法。例如，与六个数据集上的第二最佳基线（TDEM）相比，当 k 为 50 时，BIM-DRL 在平衡影响力传播方面分别实现了 4.54%、30.21%、0.62%、0.57%、3.7% 和 1.7% 的改进。平衡暴露最大化方法，即 TCEM 和 TDEM，具有第二高的平衡影响力传播。基于DRL的影响力最大化方法，即S2V-DQN和ToupleGDD，在平衡影响力传播方面优于传统的单实体影响力最大化方法（IMM和SSA）

如图 4（a）所示，当 k 在 10 到 20 范围内时，S2V-DQN 的平衡影响力传播优于 BIM-DRL 和其他基线方法。同时，随着 k 的不断增加，平衡影响力传播S2V-DQN 的影响力传播始终在减小。同样，在图4（c）中，当k在10到40之间时，IMM的平衡影响力分布优于BIM-DRL和其他基线方法，但当k为50时，IMM的平衡影响力分布为小于 BIM-DRL、TCEM 和 ToupleGDD。造成这种现象的原因可能是S2V-DQN和IMM选择的种子节点导致传播过程中产生许多不平衡节点。

如图 4（b）所示，与其他基线方法相比，我们的 BIM-DRL 在豆瓣书上表现出相当优越的平衡影响力分布。这种优越性归因于豆瓣图书数据集相比其他数据集拥有更丰富的历史行为序列信息。具体来说，豆瓣书包含的评分记录数量增加，导致每个用户的平均序列信息更加广泛。如此丰富的数据使 BIMDRL 能够准确预测用户受到影响的可能性由目标实体基于其历史行为序列。因此，分析实体相关性并将用户的历史行为序列纳入具有多个实体的社交网络中被证明有利于解决平衡影响力最大化问题。

尽管一些基线方法在 Ciao、Epinions 和 Douban-Movie 数据集上的平衡影响力传播方面表现出与我们的 BIM-DRL 相似的性能，但随着种子节点的变化，BIM-DRL 仍然保持优势，并始终表现出优越的平衡影响力传播与所有其他基线方法相比，在所有数据集上。

5.2.2. Under heterogeneous setting

  图5说明了异构环境下BIM-DRL和其他基线方法的平衡影响力分布。根据该图，我们可以得出以下结论：

一般来说，与相关设置相比，异构设置中 BIM-DRL 和其他基线方法的平衡影响力传播会降低。这表明，与相关设置相比，解决异构设置中的平衡影响最大化问题更具挑战性。然而，值得注意的是，异构环境中的信息传播比相关环境中的信息传播更接近现实生活中的社交网络。

尽管所有方法都显示，与相关的环境相比，异构环境中的平衡影响力传播有所减少在异构设置中，BIM-DRL 在所有六个数据集上仍然优于其他基线方法。这表明 BIM-DRL 在解决现实社交网络中的平衡影响最大化问题方面比其他基线方法更有效。例如，当k值设置为50时，BIM-DRL在六个数据集上的平衡影响力分布方面分别提高了4.35%、34.71%、0.35%、0.47%、1.1%和1.9%，与最先进的平衡影响最大化方法 TDEM 相比。

  由于豆瓣图书数据集中丰富的历史行为序列信息，与异构环境下的其他基线方法相比，BIM-DRL可以利用这些数据做出更准确的预测，并实现更好的平衡影响力传播。特别是，当 k 为 50 时，BIM-DRL 相对于 IMM、SSA、S2V-DQN、ToupleGDD、TCEM 在平衡影响力分布上实现了 35.00%、20.33%、33.83%、33.85%、33.86% 和 34.71% 的改进以及豆瓣书上的TDEM。

  在Ciao数据集上（见图5（a）），当k为10时，S2V-DQN的平衡影响力传播优于BIM-DRL和其他基线方法。然而，随着种子节点规模的增加，S2V-DQN 的平衡影响力传播不断减小。在 Yelp 数据集上，当 k 在 10 到 20 之间时，IMM 的平衡影响力传播初步处于领先位置。然而，随着k进一步增加，IMM的平衡影响力分布减小。这一观察表明，S2V-DQN 和 IMM 选择的种子节点导致生成异构环境下信息传播过程中存在大量不平衡节点，导致其平衡影响力传播减少。

  总之，与相关和异构环境中的其他基线方法相比，本文提出的 BIM-DRL 在平衡影响力传播方面表现出了优越的性能。这表明 BIM-DRL 是解决多实体社交网络中平衡影响力最大化问题的有效解决方案。

5.3. Balanced propagation accuracy

5.3.1. Under correlated setting

   表2总结了相关设置下BIM-DRL与其他基线方法的平衡传播精度的比较结果。总体而言，在所有六个数据集上，BIM-DRL都实现了最好的精度性能，紧随其后的是平衡暴露最大化方法TDEM。具体来说，在最大规模的豆瓣电影数据集上，BIM-DRL 与 TDEM 相比取得了更高的 Precision、Recall 和 F1-Score，分别提高了 0.64%、2.25% 和 1.30%。此外，BIM-DRL 在精度、召回率和 F1 分数方面也优于其他基线方法。这意味着考虑实体相关性对信息传播的影响，结合用户的历史行为序列，可以显着提高平衡最大化问题解决方案的准确性。

  综上所述，虽然 BIM-DRL 在 Ciao、Douban-Book、Yelp 和 Flixster 数据集上与一些基线方法相比精度较低，但在 Precision、Recall 和 F1-Score 方面表现出了优越的整体精度性能。具体来说，在 Ciao 数据集上，虽然 IMM 在精度上取得了最高的性能，但 BIM-DRL 的 Recall 和 F1-Score 明显高出 12.96% 和 7.55%。同样，在豆瓣书数据集上，S2VDQN 达到了最高的精度，但 BIM-DRL 的表现优于它，在召回率和 F1-Score 上分别大幅领先 28.25% 和 12.77%。在 Yelp 数据集上，尽管 TDEM 与 BIM-DRL 和其他基线方法相比显示出略高的 Precision，但 BIMDRL 在 Recall 和 F1-Score 方面仍然表现出色，分别略占 0.52% 和 0.15% 的优势。最后，在 Flixster 数据集上，虽然 ToupleGDD 在精度上取得了最高的性能，但 BIM-DRL 在 Recall 和 F1-Score 方面明显超过了它，分别提高了 3.58% 和 1.62%。

5.3.2. Under heterogeneous setting、

  表3显示了异构环境下BIM-DRL与其他基线方法的平衡传播精度比较结果。结果得出以下结论。首先，与相关设置下的平衡传播精度相比，BIM-DRL和其他基线方法的性能在异构设置下表现出下降。这是因为异构环境下的信息扩散更能反映真实社交网络的动态，并且信息的复杂性增加扩散会导致平衡传播的精度降低。其次，与其他基线方法相比，BIM-DRL 在六个数据集上显示出卓越的性能。具体来说，BIM-DRL 在召回率上实现了 4.14%、34.45%、0.27%、0.45%、1.07%、2.64% 的改进，在 F1-Score 上实现了 2.72%、16.19%、0.08%、0.19%、0.51%、1.51% 的改进。分别与六个数据集上的第二最佳基线（TDEM）进行比较。第三，值得注意的是，尽管BIM-DRL在某些情况下在异构环境下精度可能较低，但在Recall和F1-score方面具有绝对优势。这表明 BIM-DRL 更擅长识别和捕获相关实体，即使它可能会产生一些误报预测。

  总体而言，BIM-DRL 在相关和异构环境中都取得了显着的结果，这支持了我们的 BIM-DRL 方法在有效解决大型真实社交网络中最大化平衡传播问题方面的优越性。

5.4. Running time

 

   图 6 展示了 BIM-DRL 与其他基线方法在六个数据集上的运行时间比较。根据该图，我们可以得出以下结论：

  总体而言，BIM-DRL 展现了出色的运营效率。在这些方法中，TCEM 的计算成本最高。这是因为TCEM需要生成大量传播样本，导致估计影响扩散的计算成本很高。相比之下，BIM-DRL 通过使用深度选择种子节点强化学习，可以消除计算成本高昂的影响估计的需要，并显着提高算法效率。例如，在最大的豆瓣电影数据集上，当种子节点集（k）的大小在10到50之间时，BIM-DRL的运行时间分别快了99.12%、99.67%、99.67%、99.74%和99.81%与 IMM 相比，IMM 依赖于反向影响抽样估计。这表明，在解决大规模社交网络中的影响力最大化问题时，与依赖于通过采样估计影响力传播的传统方法相比，基于 DRL 的 BIM-DRL 方法表现出优异的泛化能力。

   此外，值得注意的是，TDEM 在 Ciao 数据集上的运行时间比 BIM-DRL 稍快，BIM-DRL 在其余 5 个较大的数据集（豆瓣书、Yelp、Epinions、Flixster 和豆瓣电影）上表现出卓越的效率）。具体来说，当 k 设置为 50 时，BIM-DRL 的性能优于 TDEM，在豆瓣书、Yelp、Epinions、Flixster 和豆瓣上的运行时间分别提高了 62.24%、46.12%、58.57%、92.29% 和 96.92%。分别是电影数据集。这表明，与基于采样的方法相比，BIM-DRL 在解决大型社交网络上的平衡影响最大化问题方面更有效。

5.5. Ablation study

   在本小节中，我们在相关和异质环境中进行消融研究，以验证主要方法的有效性BIM-DRL 中的组件。为此，我们设计了 BIMDRL 模型的三种变体，即 IM-DRL (NoB)、BIM-DRL (NoD) 和 BIM-DRL (NoR)。更准确地说，BIM-DRL（NoB）是通过从实体相关性评估模块中删除 Bi-LSTM 组件而导出的。因此，BIM-DRL（NoB）无法评估多实体社交网络中的实体相关性。 BIM-DRL（NoD）是将平衡种子节点选择模块中的DDQN替换为DQN得到的。因此，BIM-DRL（NoD）可能会在训练过程中面临过度乐观的挑战。 BIM-DRL（NoR）是将实体相关性评估模块中的平衡传播概率计算替换为随机分配概率而得到。因此，BIM-DRL（NoR）随机分配多实体社交网络中的实体相关性。在平衡传播最大化的背景下，检测和识别更多平衡节点的能力在社交网络中变得至关重要。因此，在我们的具体应用场景中，Recall比Precision更重要。因此，采用 Recall 和 F1-Score 作为消融实验的评估指标。表4和表5总结了消融研究的相应结果。

  表 4 报告了 BIM-DRL 与相关设置下的其他变体的性能比较。首先，将BIM-DRL与第一个变体BIM-DRL（NoB）进行比较，很明显BIM-DRL优于BIM-DRL（NoB），这表明利用Bi-LSTM挖掘用户历史行为序列的重要性。此外，BIM-DRL 始终比 BIM-DRL (NoD) 表现更好，这意味着 DDQN 在平衡种子节点选择过程中的重要性。此外，BIM-DRL（NoR）在所有六个数据集上的表现都比 BIM-DRL 差，这表明实体相关性评估是解决多实体社交网络中平衡影响最大化问题的关键因素。

  表5总结了异构环境下BIM-DRL与其他变体的平衡传播精度比较。可以看出，与相关设置下的情况相比，BIM-DRL和其他变体的平衡传播的准确性在异构设置下下降。然而，可以清楚地观察到 BIM-DRL 在所有六个数据集上仍然优于其他变体。具体来说，BIM-DRL（NoB）在豆瓣书上的Recall和F1-Score分别比BIM-DRL低25.83%和14.07%。这表明实体相关性评估模块中的Bi-LSTM在解决异构环境中的平衡影响最大化问题中发挥着关键作用。此外，与相关设置下的情况相比，BIM-DRL（NoD）的性能在异构设置下下降。这意味着 DDQN 在训练过程中取得了比 DQN 更好的学习效果。此外，BIM-DRL 显着优于 BIM-DRL (NoR)，凸显了多实体社交网络中实体相关性的准确分析对于解决平衡影响力最大化问题的重要性。

5.6. Hyper-parameter study

  在本小节中，我们研究超参数对 BIM-DRL 预测的影响，包括（1）用于缓解过度拟合的丢失率 λ； (2)实体相关性评估模块中的嵌入大小Ea。我们选择 Recall 和 F1-Score 作为评估指标。

丢包率 λ。 Dropout 是解决模型过度拟合问题的常用技术。它有助于防止网络过度依赖特定神经元，并鼓励学习更强大的特征。在实体相关性评估模块中，我们采用dropout技术来防止BIM-DRL过拟合。图7说明了丢失率λ对BIM-DRL预测性能的影响。可以看出，当dropout比率λ设置为0.1时，BIM-DRL在六个数据集上实现了最好的Recall和F1-Score。这表明将 BIM-DRL 的丢失率 λ 设置为 0.1 是更可取的。

  嵌入尺寸 Ea.众所周知，嵌入大小在模型训练中起着至关重要的作用。如果嵌入尺寸太高，则存在模型过度拟合的风险。如图8所示，预测随着六个数据集上嵌入大小 Ea 的增加，BIM-DRL 的性能最初得到改善。然而，一旦嵌入大小 Ea 超过 64，大多数数据集的 Recall 和 F1-Score 都会出现下降趋势。值得注意的是，当嵌入大小 Ea 设置为 128 时，豆瓣电影数据集上的 Recall 和 F1-Score 的性能达到峰值。这可以归因于豆瓣电影数据集是所有数据集中最大的。六个数据集，包含丰富的历史行为信息。因此，我们的 BIM-DRL 模型的最佳嵌入大小 Ea 在六个数据集上的 [64,128] 范围内。

    总之，最佳丢失率 λ 为 0.1，嵌入大小 Ea 的最佳设置在 [64,128] 范围内。

6. Conclusion

  本文研究了多实体社交网络中平衡影响力最大化的关键问题。现有的大多数关于社交网络影响力最大化的研究仍然存在三个主要问题：（1）未能有效缓解回声问题社交网络中的腔室和过滤气泡； (2)忽略多实体社交网络中实体相关性对信息传播的影响； （3）在解决大型社交网络中平衡影响力最大化问题时缺乏良好的泛化能力。为了解决上述限制，我们提出了一种基于深度强化学习的平衡影响力最大化框架，称为BIM-DRL，它完成了多实体社交网络中实体相关性评估和平衡种子节点选择的子任务。 BIM-DRL的主要新颖之处在于设计了一个神经网络模型，通过对用户的历史行为序列进行双向建模来准确捕获多实体社交网络中不同实体之间的相关性。此外，提出了一种基于深度强化学习的平衡种子节点选择方法，以实现多实体社交网络中平衡影响力最大化的目标。最后，我们对六个多实体社交网络数据集进行了广泛的实验。实验结果验证了所提出的BIM-DRL的优越性。

   在未来的工作中，我们计划在本文的基础上探索一种能够最大化更多目标实体影响力均衡扩散的方法。此外，我们打算将该方法扩展到更复杂的信息传播模型，例如易感感染者恢复（SIR）模型和线性阈值（LT）模型，旨在增强真实社交网络中信息传播的多样性。