说明
从分布开始,分布又要从正态开始
假设有一批数据,只有通过在线的方式增量获得。
内容
1 生成
先通过numpy生成一堆随机数据,从3个正态分布生成,然后拼接起来。
import numpy as np
import matplotlib.pyplot as plt
from sklearn.mixture import GaussianMixture
# 生成示例数据
np.random.seed(0)
data1 = np.random.normal(loc=20, scale=5, size=300)
data2 = np.random.normal(loc=50, scale=10, size=700)
data3 = np.random.normal(loc=70, scale=30, size=500)
data = np.concatenate([data1, data2,data3])
array([28.82026173, 22.00078604, 24.89368992, 31.204466 , 29.33778995,
15.1136106 , 24.75044209, 19.24321396, 19.48390574, 22.05299251
...
接下来,我们看算法对这些数据的拟合结果。
2 拟合
增量计算方差的算法是基于Welford的在线算法,它是一种被广泛接受的用于在线统计的稳定算法。
class IncrementalStats:
def __init__(self):
self.n = 0
self.mean = 0.0
self.m2 = 0.0
def add_data(self, x):
self.n += 1
delta = x - self.mean
self.mean += delta / self.n
delta2 = x - self.mean
self.m2 += delta * delta2
def get_mean(self):
return self.mean
def get_variance(self):
if self.n < 2:
return 0.0
return self.m2 / (self.n - 1)
def get_std(self):
return self.get_variance() ** 0.5
# 初始化增量统计对象
stats = IncrementalStats()
# 逐条添加数据并更新统计量
for i,x in enumerate(data):
if i +1== 300:
print('>>>>>>>>>>>>>>>>>>>>>>>>>',i)
if i +1 == 1000:
print('>>>>>>>>>>>>>>>>>>>>>>>>>',i)
stats.add_data(x)
print(f"After adding {x}: Mean = {stats.get_mean():.2f}, Variance = {stats.get_variance():.2f}, Std={stats.get_std():.2f}")
print(f"Final Mean = {stats.get_mean():.2f}, Final Variance = {stats.get_variance():.2f}, Final Std={stats.get_std():.2f}")
第一段:刚开始拟合,在一阵波动之后,很快就接近真相了
第二段:在第一波结束的时候,已经非常接近真相了
第三段:在混入了两个正态时候,已经远远偏离了上一波的稳定状态(mean=20,std=5)。方差还有点像两个分布的方差和,均值就不是了。
第四段:结束时,全部都混在一起,分不出来了。
3 结论
- 1 证明了方法是有效的,如果只有一个正态,可以稳定下来
- 2 可以用来判别之前的正态在复杂环境下已经变化了(均值和方差偏移)
- 3 如果叠加贝叶斯推断,我们可以发现在哪里发生转变了,从而开始重新拟合