GMM（Gaussian Mixture Model）是一种基于高斯分布的概率模型，常用于聚类或密度估计。EM（Expectation-Maximization）算法是一种迭代算法，通常用于GMM的参数估计。下面是使用Python实现GMM和EM算法的示例代码：
```
import numpy as np
from sklearn.mixture import GaussianMixture
# 生成随机数据
np.random.seed(0)
X = np.concatenate([np.random.randn(100, 2) + [2, 2], np.random.randn(100, 2) + [-2, -2], np.random.randn(100, 2) + [2, -2]])
# 初始化GMM模型
gmm = GaussianMixture(n_components=3, covariance_type='full')
# 训练模型
gmm.fit(X)
# 打印聚类结果
print(gmm.predict(X))
# 打印GMM模型参数
print('Means:')
print(gmm.means_)
print('Covariances:')
print(gmm.covariances_)
print('Weights:')
print(gmm.weights_)
```
这段代码使用了`sklearn.mixture.GaussianMixture`类，它可以方便地进行GMM模型的训练和参数估计。其中，`n_components`参数指定了聚类个数，`covariance_type`参数指定了协方差矩阵类型。在上面的例子中，我们使用了`'full'`类型，即完整协方差矩阵。
下面是使用Python实现EM算法的示例代码：
```
import numpy as np
# 初始化参数
np.random.seed(0)
K = 3
N = 300
mu = np.array([[-2, 2], [2, 2], [0, -2]])
sigma = np.array([[[1, 0], [0, 1]], [[1, 0.5], [0.5, 1]], [[0.5, 0], [0, 0.5]]])
alpha = np.ones(K) / K
x = np.zeros((N, 2))
for i in range(K):
x[i * 100:(i + 1) * 100, :] = np.random.multivariate_normal(mu[i, :], sigma[i, :, :], 100)
# EM算法迭代
for t in range(10):
# E步：计算后验概率
gamma = np.zeros((N, K))
for k in range(K):
gamma[:, k] = alpha[k] * np.exp(-0.5 * np.sum((x - mu[k, :]) ** 2 / sigma[k, :, :], axis=1)) / np.sqrt(np.linalg.det(sigma[k, :, :]))
gamma /= np.sum(gamma, axis=1, keepdims=True)
# M步：更新模型参数
for k in range(K):
Nk = np.sum(gamma[:, k])
mu[k, :] = np.sum(gamma[:, k].reshape(-1, 1) * x, axis=0) / Nk
sigma[k, :, :] = np.sum(gamma[:, k].reshape(-1, 1, 1) * np.matmul((x - mu[k, :]).reshape(-1, 2, 1), (x - mu[k, :]).reshape(-1, 1, 2)), axis=0) / Nk
alpha[k] = Nk / N
# 打印模型参数
print('Iteration', t + 1)
print('Means:')
print(mu)
print('Covariances:')
print(sigma)
print('Weights:')
print(alpha)
```
这段代码使用了EM算法来估计GMM模型的参数。其中，`mu`、`sigma`和`alpha`分别表示高斯分布的均值、协方差矩阵和权重，`gamma`表示后验概率。在每一轮迭代中，首先计算后验概率，然后根据后验概率更新模型参数。迭代结束后，打印出模型参数。
4506
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
