与k均值算法类似,LVQ试图找到一组原型向量来刻画聚类结构,但是LVQ假设数据样本带有类别标记,学习过程利用样本的这些监督信息来辅助聚类。
因此我的理解是LVQ是基于监督的聚类。
根据周志华老师给出的算法步骤,我用Python编程实现了这一过程。具体代码如下:
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
import random
#首先读入数据
midu = []
hantanglv = []
mark = []
df = pd.read_excel('西瓜数据集4.0.xlsx')
for i in df.index.values:
midu.append(df.ix[i].values[1])
hantanglv.append(df.ix[i].values[2])
for i in range(8):
mark.append(1)
for i in range(8, 20):
mark.append(0)
for i in range(20,30):
mark.append(1)
#按照书上示例,将原型向量个数定义为5 学习率定义为0.1
q = 5
learningRate = 0.1
#随机选出q个数据作为初始原型向量
qIndex = random.sample(range(0,len(midu)), q)
P = []
for i in qIndex:
P.append([np.array([midu[i], hantanglv[i]]), mark[i]])
#下面开始迭代 假定迭代轮数为400轮
r = 400
i = 0
for i in range(400):
#从样本集中随机选取一个样本
j = random.randint(0, len(midu)-1)
dis = [np.linalg.norm(np.array([midu[j], hantanglv[j]])- p[0]) for p in P]
#找出最近的原型向量
minDis = dis.index(min(dis))
#更新原型向量
if P[minDis][1] == mark[j]:
p_ = P[minDis][0]+learningRate*(np.array([midu[j], hantanglv[j]])- P[minDis][0])
else:
p_ = P[minDis][0]-learningRate*(np.array([midu[j], hantanglv[j]])- P[minDis][0])
P[minDis][0] = p_
#将结果可视化
co = ['r', 'g', 'b', 'm']
for i in range(q):
mm = [j[0][0] for j in P]
hh = [j[0][1] for j in P]
plt.scatter(mm, hh, marker='x')
mm = [midu[i] for i in range(len(mark)) if mark[i] == 1]
hh = [hantanglv[i] for i in range(len(mark)) if mark[i] == 1]
plt.scatter(mm, hh, marker='o')
mm = [midu[i] for i in range(len(mark)) if mark[i] == 0]
hh = [hantanglv[i] for i in range(len(mark)) if mark[i] == 0]
plt.scatter(mm, hh, marker='v')
plt.show()
使用的数据集依旧是西瓜数据集4.0,最终运行结果如下所示:
画x的表示原型向量,画倒三角的表示坏瓜,画圆形的表示好瓜。因为迭代过程的随机性,每次运行结果都不太一样。