MATLAB层次聚类分析

实验题目

给出六个民族的出生死亡率，和他们的平均寿命，如下表所示

	出生死亡率（%）	平均寿命
1	5.80	70.59
2	7.44	67.14
3	8.11	65.48
4	10.21	58.88
5	9.51	59.88
6	9.81	60.47

MATLAB代码

%聚类分析
%步骤
%1.样本标准化
%2.计算各个样本之间的距离
%3.选择合适的方式聚类
clc
clear all
close all
X = [5.80  70.59
     7.44  67.14
     8.11  65.48
     10.21 58.88
     9.51  59.24
     9.81  60.47
    ];
figure;
plot (X(:,1),X(:,2),'ro','MarkerSize',8,'LineWidth',1);
xlabel('x(1)')
ylabel('x(2)')
title('原始数据')
grid on
figure
Xn = zscore(X);%标准化
Y = pdist(Xn,'euclidean');%求距离
squareform(Y)%方便查看
Z = linkage(Y,'single');%类
dendrogram(Z);%画图
xlabel('样本')
ylabel('类间距离')
title('层次聚类分析')

代码分析

zscore ()：这是一个归一化的函数，是用原始数据的均值和方差来进行归一化的，可把原始数据归一化为均值为0、方差1的数据，称为z—score 标准化。这是进行聚类的重要一步，我对其的理解就是不同特征之间的量纲可能相差很大，在进行不同数据之间的距离计算时，量纲大的权重较大，一些量纲较小的可能会被忽略掉，为了避免这种情况，所以要进行归一化。其它的归一化函数还有最大最小标准化等。

pdist(): 这个函数是为了进行数据之间求距离的，输入为数组及以何种方式求距离，方式主要有欧式距离、马氏距离、曼哈顿距离、切比雪夫距离、绝对值距离，输出为每两个数据之间的距离。这一步是为了聚类做准备。本文选择的输入方式为Y = pdist(X,Distance)。

method有以下几种：

'euclidean'：欧几里德距离(默认)。

'squaredeuclidean'：平方欧氏距离

'seuclidean'：标准化欧氏距离

'mahalanobis'：Mahalanobis

'cityblock'：城市街区距离。

'minkowski'：明考斯基距离

'chebychev'：切比切夫距离

'hamming'：Hamming距离

squareform():为了方便展示个个数据之间的距离，输出为一个矩阵，例如矩阵中的位置（1，2）为第1个数据和第二个数据之间的距离。

linkage():是用指定的方法来进行层次聚类，pdist()是计算两个样本之间的距离，linkage()是用指定的方法来算类与类之间的距离，然后把距离最近的化为一个新类，在计算新类与其它类的距离，再把距离最近的化为一个新类，重复以上操作直至只有一个类。本文选择的输入方式为 Z = linkage(X,method) 。

method有以下几种：

Single:最短距离

Complete：最大距离

Average：平均距离

Centroid：重心距离

Ward：离差平方和

dendrogram()：是把linkage()生成的数据画成树状图。

cluster()：是根据linkage()创建分类。

不同层次聚类方法得到的实验结果图

（1）重心法

得到的树状图如图1所示

图1重心法

（2）最短距离法

图2最短距离法

（3）最长距离法

图3.最长距离法

（4）类平均法

图4.类平均法

（5）离差平方和法

图5.离差平方和法

 以上5组实验样本之间求距离的方式均为欧式距离，于是我有做了一组绝对值距离的实验，层次聚类的方法为最大距离法。实验结果如图6所示

图6.绝对值距离

实验总结

通过本次课程及实验，我对层次聚类的概念的理解不再是迷茫模糊了，而是能够对一些简单的数据进行层次聚类了，下面我以实验中的最短距离法实验为基础来阐述如何进行层次聚类。

（1）首先，得到数据后应进行数据的归一化。这是为了消除由与不同特征之间数量级相差过大的影响。就如同本实验的数据一样，出生率基本都在10以内，平均寿命基本都大于50，当去除归一化函数后得到的结果如图7所示，4和5被划为了一类，而不是其他实验的5和6为一类。这是应为4与5平均寿命的差值小于5和6的差值，平均寿命的数量级大，其在计算距离时的权重也大。这才相差一个数量级，如果数量级相差过大，那么小数量级的特征将会不起作用，分出类的可靠性也会降低。

图7.没有进行归一化的分类结果

（2）算出不同数据之间的距离。样本之间距离的计算方法有好几种，应该根据样本的特征选择合适的方法。最短距离法实验中各样本的距离如下图8所示（数组表示，（1，5）表示1和5之间的距离。）

图8.各个样本之间的距离

（3）先把每个数据当成一个类，把距离最近的两个类化为一个新类，计算该新类由其他类之间的距离。根据图8可以看出样本5和6之间的距离最近所以把5，6归为一新类7。由于层次聚类方法为最小距离法，所以类1，2，3，4和新类7之间的距离取它们各自内部的样本与5，6距离的最近值，即它们与7之间的距离分别为3.1728，1.9728，1.4484，0.4065。

（4）再把距离最近的两类归为一个新类，再计算新类与其他类之间的距离。再加入新类7后，类1，2，3，4，7之间最近的距离为4，7之间的距离，所以4，7化为新类8。根据最小距离法，类1，2，3与8之间的距离分别为3.1728，1.9728，1.4484。

（5）重复步骤（4），直至所有样本归为一个类。类1，2，3，8，之间距离最近的为2，3之间的距离0.5259，所以2，3划为新类9。根据最小距离法，类1，8与9之间的距离分别为1.2077，1.4484。而1，8之间的距离为3.1728，所以1，9划为新类10。8和10之间的距离为1.4484，它们再归为新类11，至此，所有样本归为一类，聚类结束。MATLAB中聚类过程如下图9所示，与我说的过程一致。

图9. MATLAB中聚类过程