【笔记】社交媒体事件的Hawkes Process建模教程（4）

Dorothy30

已于 2023-06-27 19:49:34 修改

阅读量491

点赞数 2

分类专栏： Hawkes Process 学习笔记自用整理文章标签：笔记 python 算法概率论数学建模

于 2023-06-07 14:53:55 首次发布

本文链接：https://blog.csdn.net/weixin_44835327/article/details/131086756

版权

自用整理同时被 3 个专栏收录

16 篇文章 3 订阅

订阅专栏

学习笔记

13 篇文章 0 订阅

订阅专栏

Hawkes Process

4 篇文章 3 订阅

订阅专栏

在这篇笔记中，我们将使用社交媒体的数据进行Hawkes process的建模。我们将首先讨论为什么Hawkes process适合来进行推特转发级联的建模，以及如何构建记忆核函数 $\Phi(\cdot)$ ，然后我们将从推特数据中估计模型参数。最后使用带参数的模型来进行转发级联的规模估计（受欢迎程度）。

1 一个信息传播的显著Hawkes process

1.1 事件的强度函数（intensity function）

2 对Hawkes process进行参数估计

3 未来事件的期望数量

3.1 未来第一代的数量

3.2 Branching factor

3.3 整个级联的规模（一个cluster里的总后代数）

4 实操教程

1 一个信息传播的显著Hawkes process

我们将模拟一个网络信息的传播：用户分享内容，其他用户将内容进行分享并传播给更多用户的现象。在这个应用中，我们将每一次转发当做点过程上的一个事件。同时，我们也将对社交网络的三个特点进行建模：（1）影响力规模。被粉丝多的用户发出来的推特更容易被转发→影响力更大；（2）随着时间的推移记忆。当内容新鲜时，转发最多；（3）内容质量。

1.1 事件的强度函数（intensity function）

首先，一个转发级联定义为对一个原始推特的一系列转发的集合。这在点过程里面可以体现为分支结构里的immigrant event和它的后代。在之前的笔记中，我们提到在Hawkes process中的事件强度函数可以如下定义：

$\lambda(t)=\lambda_0(t)+\sum_{T_i < t}\Phi_{m_i}(t-T_i)$

我们假设immigrant event的基础强度 $\lambda_0(t)=0, \forall t >0$ 。由于要体现每个用户的影响力规模，我们将使用一个显著的Hawkes process（a marked Hawkes process）来进行建模。

我们定义每个mark/magnitude $m_i$ 为每个推特的用户影响力，在这篇笔记中我们将用户的关注者数量视作影响力。因此原始推特的事件发生时间为 $T_0=0$ ，影响力为 $m_0$ 。那么后续的推特表示在时间 $T_i$ 到来的具有影响力 $m_i$ 的事件。

我们构建一个包含mark m的power-law记忆核函数 $\Phi_m(\tau)$ ，如下所示：

$\Phi_m(\tau)=\kappa m^\beta(\tau + c)^{-(1+\theta)}$

$\kappa$ ：推特内容的病毒性/内容质量，用于缩放该条推特后续的转发率。
$\beta$ ：推特用户在社交网络的影响力，这种影响力在社交网络上有一种扭曲效应（“warping effect”），在核函数中体现为用户的影响力会呈指数级别的影响推特的转发。
$(\tau+c)^{1+\theta} (\theta>0)$ ：体现为power-law的部分，主要是表征了一个事件被遗忘的速度，其中参数$c>0$是一个恒定的位移项，这是为了使得在 $\tau \sim0$ 的时候 $\Phi_m(\tau)$ 有界。

2 对Hawkes process进行参数估计

从前面的intensity function可以看到，我们需要用最大似然估计来估计的有四个参数 $\theta=\{\kappa, \beta, c, \theta\}$ 。将前面的强度函数代入上一篇笔记的极大似然函数中可得：

$ln(\Theta) = ln(L(\kappa, \beta,c,\theta))=\sum_{i=2}^n log\kappa+\sum_{i=2}^n log(\sum_{t_j < t_i} \frac{(m_j)^\beta}{(t_i-t_j+c)^{1+\theta}})-\kappa\sum_{i=1}^n (m_i)^\beta[\frac{1}{\theta c^\theta}-\frac{(T+c-t_i)^{-\theta}}{\theta}]$

该公式的具体推导见下图：

为了使得branching factor有意义且为正数，上述函数中的参数的限制为： $\theta>0, \kappa>0$ , $c>0$ ，以及 $0<\beta<\alpha-1$ 。同时，为了使得最终得到的级联是有限的，我们在估计中也将 $n^*<1$ 作为限制条件之一。

针对上一篇笔记中提到的在估计最大似然中可能会遇到的三个问题：边缘效应，计算复杂度和局部最小值。在当前应用场景下，（1）因为我们是观察一个immigrant事件产生的后代级联，所以不存在边缘效应；（2）本应用的计算复杂度为 $O(n^2)$ 。但在代码实现中，使用了三个方法来使计算更为高效：向量化，保存需要重复使用的计算结果，在大量级联中进行数据并行执行。（3）使用多组随机初始值的设置来应对局部最小值的问题。

3 未来事件的期望数量

在数据收集的过程中，已知在截止 $T$ 的时间内观察到了一个转发的级联的一部分，并且已经拟合了参数。那么我们想要接著这个级联继续往下模拟，直到级联结束的话，我们也许想要估计在观察到n个事件之后，未来还要发生多少事件，我们的一个完整转发级联才结束。

那么首先基于观察到的n个事件，我们可以先模拟出基于当前已发生的事件估计出来的Hawkes process，可以产生的下一代事件 $Generation_1$ 。然后我们再计算当前Hawkes process的branching factor，最后再根据 $Geneation_1$ 的数量 $A_1$ 和branching factor来计算所有未来后代事件的数量（也就是说我们先通过计算 $A_1$ 进行最直接的一步预测，然后在n个事件之后出现未来后代的数量的计算是基于我的第一步预测的结果的，每个事件能够触发的新事件能力由branching factor决定）。

3.1 未来第一代的数量 $A_1$

因为我们关注的只是一个immigrant事件触发的转发级联，所以自然可以得出在 $t>T$ 不会再观察到immigrant事件了，因为后代的转发都是由当前事件触发的。那么对于 $t>T$ 的第一代后代的计算，我们可以通过记忆核函数计算过去发生的所有事件的影响来得到。那么 $A_1$ 的计算为：

$A_1=\int_T^\infty \lambda(t)dt=\int_T^\infty \sum_{t>T_i} \Phi_{m_i}(t-T_i)dt=\kappa \sum_{i=1}^n \frac{m_i^\beta}{\theta (T+c-T_i)^\theta}$

3.2 Branching factor

在之前的笔记中我们提到过，branching factor是通过对历史事件的影响进行积分来计算的：

$n^*=\int_0^\infty \Phi(\tau)d\tau$

由于在我们的应用场景中，要考虑每个事件的影响力，因此我们也要对这种影响力m进行积分。在这里我们假设每个事件的影响力 $m_i$ 是服从社会影响的power-law分布的，即： $P(m)=(\alpha-1)m^{-\alpha}$ ，其中 $\alpha$ 为控制分布长尾的参数，可以从实际数据中进行估计。那么此时的branching factor的计算为：

$n^*=\int_1^\infty \int_0^\infty P(m)\Phi_m(\tau) d\tau dm = \kappa \frac{\alpha -1}{\alpha-\beta-1} \frac{1}{\theta c^\theta}$

其中 $\beta < \alpha-1$ ， $\theta>0$

具体计算见下图：

3.3 整个级联的规模（一个cluster里的总后代数）

在之前的笔记中，我们提到过，一个cluster中后代期望事件数量为：

$N_\infty=\sum_{i=0}^\infty A_i=\sum_{i=0}^\infty A_0(n^*)^i=\sum_{i=0}^\infty(n^*)^i=\frac{1}{1-n^*}\ \text{where}\ n^*<1$

当然在我们的应用中也可以这样进行计算，但就像前面提到的一样，有一个更为精确地估计是基于 $A_1$ 来进行后代数量的估计，因此我们有：

$N_\infty=n+\sum_{i=1}^\infty A_i=\\=n+\sum_{i=1}^\infty A_1(n^*)^{i-1}\\=n+\frac{A_1}{1-n^*}\ \text{where}\ n^*<1$

将之前得到的 $A_1$ 代入，我们可以进一步得到

$N_\infty=n+\sum_{i=1}^\infty A_i=n+\sum_{i=1}^\infty A_1(n^*)^{i-1}=n+\frac{\kappa}{1-n^*}( \sum_{i=1}^n \frac{m_i^\beta}{\theta (T+c-T_i)^\theta})$

4 实操教程

关于教程具体的数据和代码可以在作者提供的github地址上看：https://github.com/s-mishra/featuredriven-hawkes。这里面的所有代码是用R语言写的，所有代码实例使用既提供了power-law的版本，也提供了exponential的版本。在笔记中我我用python写了一遍，仅供参考。

首先可视化了power-law kernel的曲线，相关参数为 $m=1000, \kappa=0.8, \beta=0.6, c=10$ 以及 $\theta=0.8$ 。代码的python如下：

# Define initial event that starts the cascade (i.e., the immigrant)
event = np.array([1000, 0])  # magnitude = 1000 at time t0 = 0

# Define the end point of time and the list of event times
t_end = 100
t_list = np.linspace(event[1], t_end, num=1000)

# Set the parameters needed for power_law_kernel
kappa = 0.8
beta = 0.6
c = 10
theta = 0.8
alpha = 2.016

res = kernel_pl(event, t_list, kappa, alpha, beta, 1, c, theta, True)

plt.plot(t_list, res, color='blue')
plt.xlabel('Time')
plt.ylabel('Intensity')
plt.title('Power-law memory kernel over time')
plt.show()

进一步地，我们可以用thinning算法的步骤模拟出一整个由初始移民事件生成的一整个后代cluster。初始事件发生的时间为 $t=0$ ，模拟时间持续50个时间间隔。代码如下：
```
events = marked_hawkes.generate_Hawkes_event(kappa, alpha, beta, 1, c, theta, event[0], 50, True, 'List_1_2.txt', None, "power_law")
```

接下来，我们基于真实的Twitter传播级联来估计带有power-law kernel的Hawkes process的参数。代码包含了对CSV文件的读取和基于前600秒的事件来执行最大参数估计的部分：

real_cascade = pd.read_csv('example_book.csv')

# Retain only the events that occurred in the first 600 seconds (10min), these will be used for fitting the model params
predTime = 600
history = real_cascade[real_cascade['time'] <= predTime]

# Remove the first column, which is event index
history = history.iloc[:, [1, 2]]
# Call the fitting function
# Disable warning messages
np.seterr(all='ignore')

startParams = {'kappa': 1, 'beta': 1, 'c': 250, 'theta': 1}
result = marked_hawkes.fitParameters(startParams, history, "power_law")

print(f"result:{result}")
print(f"result['x']:{result['x']}")

最后，根据估计到的模型参数值，我们估计了整个传播级联的总规模

# Using the fitted model parameters, we call getTotalEvents to get predictions

prediction = marked_hawkes.cal_total_events(history=history, bigT=predTime, kappa=result['x'][0], beta=result['x'][1], c=result['x'][2], theta=result['x'][3], kernel_type="power_law")

print(prediction)

完整的代码已经上传到CSDN，审核通过后会更新到笔记里面~

代码在这里这里：【免费】社交媒体事件的HawkesProcess建模代码资源-CSDN文库

Dorothy30

关注

2
点赞
踩
5

收藏

觉得还不错? 一键收藏
4
评论
【笔记】社交媒体事件的Hawkes Process建模教程（4）

在这篇笔记中，我们将使用社交媒体的数据进行Hawkes process的建模。我们将首先讨论为什么Hawkes process适合来进行推特转发级联的建模，以及如何构建记忆核函数，然后我们将从推特数据中估计模型参数。最后使用带参数的模型来进行转发级联的规模估计（受欢迎程度）。
复制链接

扫一扫