k-means clustering and pca

k-means clustering : unsupervised learning.

k-means clustering: 首先k个点当做中心，然后将其他的点分为三类。然后重新找k个点（找mean值点），当做中心。一直到cost function的值不变或者变化很小为止。

有的时候并不是最优解，这个时候该如何？用循环来解决，每一次计算cost，去最小值。就是最优解。

k如何选择？elbow method和later purpose方法两种。

+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++

PCA： principal  component algorithm

出发点：将数据压缩，将数据可视化。

principal component 的基本原则：将高维度的转换成低维度。

首先要有一个预处理：将数据都放到一个数量级上面。

然后用svd方法将n维度的数据降到k维度。用到了u（reduce）矩阵。

还可以将k维度的转换成原来的n维度的矩阵x（appr）

如何选择k？保留了多少variance？k从1开始，一直到某个数，每次循环都计算variance，然后去最小的。

logistic regression 和pca的区别？pca是计算垂直于直线的距离最小。但是linear regression是算垂直于x轴的最小值。

pca的应用：加速supervised learning。只有在logsitc regression无法得到想要的结果的时候才用pca，所以它是一个备胎。

不能用pca来prevent overfitting，因为会丢失许多重要的信息。