1 、理解 K 值聚类
目标
• 本节我们要学习 K 值聚类的概念以及它是如何工作的。
原理
用一个最常用的例子来给大家介绍 K 值聚类。
1.1 T 恤大小问题
话说有一个公司要生产一批新的 T 恤。很明显他们要生产不同大小的 T 恤来满足不同顾客的需求。所以这个公司收集了很多人的身高和体重信息,并把这些数据绘制在图上,如下所示:
肯定不能把每个大小的 T 恤都生产出来,所以他们把所有的人分为三组:小,中,大,这三组要覆盖所有的人。我们可以使用 K 值聚类的方法将所有人分为 3 组,这个算法可以找到一个最好的分法,并能覆盖所有人。如果不能覆盖全部人的话,公司就只能把这些人分为更多的组,可能是 4 个或 5 个甚至更
多。如下图:
1.2 它是如何工作的
这个算法是一个迭代过程,我们会借助图片逐步介绍它。
考虑下面这组数据(你也可以把它当成 T 恤问题),我们需要把他们分成两组。
第一步:随机选取两个重心点, C1 和 C2(有时可以选取数据中的两个点作为起始重心)。
第二步:计算每个点到这两个重心点的距离,如果距离 C1 比较近就标记为 0,如果距离 C2 比较近就标记为 1。(如果有更多的重心点,可以标记为“2”,“3”等)
在我们的例子中我们把属于 0 的标记为红色,属于 1 的标记为蓝色。我们就会得到下面这幅图。
第三步:重新计算所有蓝色点的重心,和所有红色点的重心,并以这两个点更新重心点的位置。(图片只是为了演示说明而已,并不代表实际数据)
重复步骤 2,更新所有的点标记。
我们就会得到下面的图:
继续迭代步骤 2 和 3,直到两个重心点的位置稳定下来。(当然也可以通过设置迭代次数,或者设置重心移动距离的阈值来终止迭代。)。 此时这些点到它们相应重心的距离之和最小。简单来说, C1 到红色点的距离与 C2 到蓝色点的距离之和最小。
最终结果如下图所示:
这就是对 K 值聚类的一个直观解释。要想知道更多细节和数据解释,你应该读一本关于机器学习的教科书。这只是 K 值聚类的基础。现在对这个算法有很多改进,比如:如何选取好的起始重心点,怎样加速迭代过程等。
2、 OpenCV 中的 K 值聚类
目标
• 学习使用 OpenCV 中的函数 cv2.kmeans() 对数据进行分类
2.1 理解函数的参数
输入参数
1. samples: 应该是 np.float32 类型的数据,每个特征应该放在一列。
2. nclusters(K): 聚类的最终数目。
3. criteria: 终止迭代的条件。当条件满足时,算法的迭代终止。它应该是一个含有 3 个成员的元组,它们是(typw, max_iter, epsilon):
• type 终止的类型:有如下三种选择:
– cv2.TERM_CRITERIA_EPS 只有精确度 epsilon 满足时停止迭代。
– cv2.TERM_CRITERIA_MAX_ITER 当迭代次数超过阈值时停止迭代。
– cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER上面的任何一个条件满足时停止迭代。
• max_iter 表示最大迭代次数。
• epsilon 精确度阈值。
4. attempts: 使用不同的起始标记来执行算法的次数。算法会返回紧密度最好的标记。紧密度也会作为输出被返回。
5. flags:用来设置如何选择起始重心。通常我们有两个选择:cv2.KMEANS_PP_CENTERS和 cv2.KMEANS_RANDOM_CENTERS。
输出参数
1. compactness:紧密度,返回每个点到相应重心的距离的平方和。
2. labels:标志数组(与上一节提到的代码相同),每个成员被标记为 0, 1等
3. centers:由聚类的中心组成的数组。
现在我们用 3 个例子来演示如何使用 K 值聚类。
2.2 仅有一个特征的数据
假设我们有一组数据,每个数据只有一个特征(1 维)。例如前面的 T 恤问题,我们只使用人们的身高来决定 T 恤的大小。
我们先来产生一些随机数据,并使用 Matplotlib 将它们绘制出来。
import cv2
import numpy as np
from matplotlib import pyplot as plt
x = np.random.randint(25,100,25)
y = np.random.randint(175,255,25)
z = np.hstack((x,y))
z = z.reshape((50,1))
z = np.float32(z)
plt.hist(z,256,[0,256]),plt.show()
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
flags = cv2.KMEANS_RANDOM_CENTERS
compactness,labels,centers = cv2.kmeans(z, 2, None, criteria, 10, flags)
A = z[labels == 0]
B = z[labels == 1]
plt.hist(A,256,[0,256],color = 'r')
plt.hist(B,256,[0,256],color = 'b')
plt.hist(centers,32,[0,256],color = 'y')
plt.show()
现在我们有一个长度为 50,取值范围为 0 到 255 的向量 z。我已经将向量 z 进行了重排,将它变成了一个列向量。当每个数据含有多个特征是这会很有用。然后我们数据类型转换成 np.float32。
我们得到下图:
现在我们使用 KMeans 函数。 在这之前我们应该首先设置好终止条件。我的终止条件是:算法执行 10 次迭代或者精确度 epsilon = 1:0。
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
flags = cv2.KMEANS_RANDOM_CENTERS
compactness,labels,centers = cv2.kmeans(z, 2, None, criteria, 10, flags)
A = z[labels == 0]
B = z[labels == 1]
plt.hist(A,256,[0,256],color = 'r')
plt.hist(B,256,[0,256],color = 'b')
plt.hist(centers,32,[0,256],color = 'y')
plt.show()
返回值有紧密度(compactness), 标志和中心。在本例中我的到的中心是 60 和 207。标志的数目与测试数据的多少是相同的,每个数据都会被标记上“0”,“1”等。这取决与它们的中心是什么。现在我们可以根据它们的标志将把数据分两组。将 A 组数用红色表示,将 B 组数据用蓝色表示,重心用黄色表示
结果图:
2.3 含有多个特征的数据
在前面的 T 恤例子中我们只考虑了身高,现在我们也把体重考虑进去,也就是两个特征。
在前一节我们的数据是一个单列向量。每一个特征被排列成一列,每一行对应一个测试样本。
在本例中我们的测试数据适应 50x2 的向量,其中包含 50 个人的身高和体重。第一列对应与身高,第二列对应与体重。第一行包含两个元素,第一个是第一个人的身高,第二个是第一个人的体重。剩下的行对应与其他人的身高和体重。如下图所示:
import cv2
import numpy as np
from matplotlib import pyplot as plt
X = np.random.randint(25,50,(25,2))
Y = np.random.randint(60,85,(25,2))
Z = np.vstack((X,Y))
Z = np.float32(Z)
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
ret,label,center = cv2.kmeans(Z, 2, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS)
A = Z[label.ravel()==0]
B = Z[label.ravel()==1]
plt.scatter(A[:,0], A[:,1])
plt.scatter(B[:,0], B[:,1],c = 'r')
plt.scatter(center[:,0], center[:,1],s = 80,c = 'y',marker = 's')
plt.xlabel('Height'),plt.ylabel('Weight')
plt.show()
结果图:
2.3 颜色量化
颜色量化就是减少图片中颜色数目的一个过程。为什么要减少图片中的颜色呢?减少内存消耗!有些设备的资源有限,只能显示很少的颜色。在这种情况下就需要进行颜色量化。我们使用 K 值聚类的方法来进行颜色量化。
现在有 3 个特征: R, G, B。所以我们需要把图片数据变形成 Mx3(M 是图片中像素点的数目)的向量。聚类完成后,我们用聚类中心值替换与其同组的像素值,这样结果图片就只含有指定数目的颜色了。下面是代码:
import cv2
import numpy as np
img = cv2.imread('image/lufei.jpeg')
Z = img.reshape((-1,3))
Z = np.float32(Z)
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER,10,1.0)
K = 8
ret,label,center = cv2.kmeans(Z, K, None, criteria, 10, cv2.KMEANS_RANDOM_CENTERS)
center = np.uint8(center)
res = center[label.flatten()]
res2 = res.reshape((img.shape))
cv2.imshow('res2', res2)
cv2.waitKey(0)
cv2.destroyAllWindows()
结果图:
参考:opencv官方教程中文版(For Python)