机器学习日志(聚类 k-means)

机器学习 专栏收录该内容
8 篇文章 0 订阅

聚类介绍:

聚类属于典型的无监督学习(unsupervised learning),针对label未知的数据集进行划分,获得目标数量的“簇”(划分的不相交的子集)

主要概念:

划分的不相交的簇:\left \{ C_{l}\|l=1,2,..k \right \} , \lambda _{i}\in \left\{1,2,3...k\right\}表示x_{j}所划分的簇

聚类主要性能度量:

包括外部指标与内部指标,外部指标是与参考模型label进行比较,内部指标则不参考任何模型,外部指标利用确定划分正确、划分错误等数量来进行评估(不过我认为这个用处不大,如果已经有参考模型,何必用聚类方法呢?)

内部指标包括计算

1 簇内样本间的平均距离 ave(C)

2 簇内样本间的最远距离 diam(C)

3 簇C_j 和 C_i最近样本间的距离 d_min(C_i,C_j)

4 簇C_j 和 C_i两簇中心点距离 d_cen(C_i,C_j)

计算DB指数:

DBI = \frac{1}{k}\sum_{i=1}^{k}max(\frac{avg(C_{i})+avg(C_j)}{d_{cen}(C_{i},C_{j})})  DBI值越小划分效果越好.

 

聚类中用到的距离计算主要是L1-norm或者是L2-norm

K-means 聚类

目标: 最小化均方误差 : E = \sum_{i=1}^{k}\sum_{x\inC_{i}}\|x-\mu _{i}\|_{2}^{2} ,\mu_{i}是簇C_i的均值向量。

k均值算法采用迭代优化近似求解

1 选择初始均值向量

2 计算样本与各均值向量距离,将样本划分到距离最近的簇,并计算新的一组均值向量

4 给定阈值,判断新均值向量与旧均值向量,如果距离足够近,停止迭代。

 

 

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值