(3)从直觉的角度透彻理解层次聚类

最新推荐文章于 2022-09-16 12:38:10 发布

段智华

最新推荐文章于 2022-09-16 12:38:10 发布

阅读量304

点赞数

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/94688105

版权

层次聚类中的树状图工作机制解密

如图41-9所示，问题来了，这样做过之后，接下来怎么进行聚类?这涉及算法内部的机制，在从N个分组变成1个分组之后，使用一个树状图(Dendrograms)的辅助算法决定到底分成多少组。这里有6个点。

640?wx_fmt=jpeg

图41- 9 分布6个点

如图41-10所示，看哪两个点的距离最近，左边图中的p2,p3的距离最近，p2,p3构成1组，右侧图就把这两个点连在一起。

640?wx_fmt=jpeg

图41- 10 p2,p3的距离最近

如图41-11所示，接下来看哪两个点的距离最近，左侧图中的p5,p6的距离最近，p5,p6构成1组，右侧图把p5,p6两个点连接起来。连接起来还有一个高度的问题，高度由什么决定的?这是算法的核心，假设绿色的连接线高度是h1，红色连接线的高度是h2，高度是两个集群之间的距离，进行分组的时候根据距离计算的，p2,p3的最短距离就构成连线的高度，p5,p6的距离构成它们的高度。

640?wx_fmt=jpeg

图41- 11 高度比较

如图41-12所示，接下来哪两个集群点之间的距离最近?这时候，p1与p2,p3的距离最近，使用连线将它们连接起来。

640?wx_fmt=jpeg

图41- 12 p1与p2,p3

如图41-13所示，相应的，p4与p5,p6构成了一个集群，也有它们的距离。

640?wx_fmt=jpeg

图41- 13 连接p4与p5,p6

如图41-14所示，最后是一个大集群，整个数据变成了一个集群，从原先两个构成的集群中构成的。随着集群的合并，距离是越来越大，还是越来越小?距离显然是越来越大。像人一样，从理论上讲，距离越远，越来越疏离，当然远和近看怎么定义。举个不太恰当的例子，感觉和一个人很生疏，就说距离很远;和一个人很亲密，就说明距离很近，走的很近，就更容易分成一组，分成一派，如果很远，偶尔会有所联系，但是各自有自己的圈子。所以，刚才从6个分组变成1个分组，从左侧的图绘制出了右侧的图，到底有没有意义呢?这个非常有意义的，把整个聚类的过程中的距离都记录下来，按照保存下来的数据提出一个标准，这个标准就是多远就进行分组，最后变成一个大的分组，把所有的数据都过滤一遍，看一下数据的距离的情况，是为了实际有效的分组做准备的。假设在上海张江工作，张江是一个区域，然后浦东是一个区域，浦东和浦西都属于上海，属于一个大区域，上海和杭州变成了一个区域，再扩大一点，变成长三角区域，这个是有意义的，到时候分组的时候，按照距离进行划分。

640?wx_fmt=jpeg