机器学习---编程练习（七）：K 均值聚类(K-means)与主成成份分析(PCA)

本文链接：https://blog.csdn.net/qq_38009970/article/details/87030648

机器学习—编程练习（七）：K 均值聚类(K-means)与主成成份分析(PCA)

文件列表

ex7.m - Octave/MATLAB script for the first exercise on K-means
ex7 pca.m - Octave/MATLAB script for the second exercise on PCA
ex7data1.mat - Example Dataset for PCA
ex7data2.mat - Example Dataset for K-means
ex7faces.mat - Faces Dataset
bird small.png - Example Image
displayData.m - Displays 2D data stored in a matrix
drawLine.m - Draws a line over an exsiting figure
plotDataPoints.m - Initialization for K-means centroids
plotProgresskMeans.m - Plots each step of K-means as it proceeds
runkMeans.m - Runs the K-means algorithm
submit.m - Submission script that sends your solutions to our servers
[*] pca.m - Perform principal component analysis
[*] projectData.m - Projects a data set into a lower dimensional space
[*] recoverData.m - Recovers the original data from the projection
[*] findClosestCentroids.m - Find closest centroids (used in K-means)
[*] computeCentroids.m - Compute centroid means (used in K-means)
[*] kMeansInitCentroids.m - Initialization for K-means centroids
* 表示需要完成的内容

1 K 均值聚类

在本次练习中，你将会实现 K -均值聚类算法并且使用它进行图像压缩。首先从一个 2D 的数据开始，它将帮助你对 K 均值算法有一个直观的印象。之后，你将会使用 K 均值算法进行图像压缩，通过将图像中颜色的数量减少到图像最常用的颜色。

1.1 实现 K 均值算法

K 均值算法是一种自动将相似数据聚集起来的方法。具体来说，你有一个训练集，并且想要想要将他们分成一些紧密结合的聚类。

直观上讲，K 聚类算法是一个循环程序，这个程序从推断初始的聚类中心开始，之后推断聚类中心，然后通过标记样本最接近的聚类中心对猜测不断精炼，之后根据标定重新计算聚类中心。

K 聚类算法如下所示

% Initialize centroids
centroids = kMeansInitCentroids(X, K);
for iter = 1:iterations
	% Cluster assignment step: Assign each data point to the
	% closest centroid. idx(i) corresponds to cˆ(i), the index
	% of the centroid assigned to example i
	idx = findClosestCentroids(X, centroids);
	% Move centroid step: Compute means based on centroid
	% assignments
	centroids = computeMeans(X, idx, K);
end

内循环算法重复的执行两步：