【机器学习】K-means算法原理及MATLAB程序实现其应用

最新推荐文章于 2024-04-13 15:55:39 发布

Da π

最新推荐文章于 2024-04-13 15:55:39 发布

阅读量138

点赞数

分类专栏：机器学习文章标签：笔记 kmeans 机器学习算法

本文链接：https://blog.csdn.net/weixin_44322308/article/details/130938159

版权

1 篇文章 0 订阅

订阅专栏

1. K-means聚类算法原理

K-均值聚类算法是一种无监督的机器学习算法，其主要思想是将数据集分成 K 个不同的簇，其中每个簇都代表着数据集中某种特定的模式或特征。

工作原理：

$T=\left \{ (x_{i},y_{i}) \right \}(i = 1,2,3,....n)$

中的n个数据点中选取K个记为聚类中心,每个聚类中心对应一个簇;

优点：

缺点：

2.距离函数的选择

常见的距离函数有欧氏距离（Euclidean distance）、曼哈顿距离（Manhattan distance）以及马氏距离（Mahalanobis distance）。针对不同研究对象需要选择合适的距离函数。

设X是n维空间向量 $R^{n}$ 中的特征空间， $x_{i}, x_{j}\in X$ ， $x_{i}=(x_{i}^{(1)},x_{i}^{(2)},...,x_{i}^{(n)})$ , $x_{j}=(x_{j}^{(1)},x_{j}^{(2)},...,x_{j}^{(n)})$ 。则：
欧式距离：
$L_{2}=(\sum_{l=1}^{n}|x_{i}^{(l)}-x_{j}^{(l)}|^2)^{1/2}$
曼哈顿距离：
$L_{1}=\sum_{l=1}^{n}|x_{i}^{(l)}-x_{j}^{(l)}|$
马氏距离：
假设向量x的平均值为 $\mu$ ，则其协方差可表示为： $\sum {(x-\mu)'}$ ，马氏距离就定义为：
$L_{M}=\sqrt{(x-\mu)\sum^{-1}{(x-\mu)'} }$
(x−μ)本质上是向量与平均值的距离。然后，将其除以协方差矩阵（或乘以协方差矩阵的逆数）。这实际上是多元变量的常规标准化（z =（x – μ)/ sigma）。也就是说，z =（x向量）–（平均向量）/（协方差矩阵）。

关注