k-means clustering : unsupervised learning.
k-means clustering: 首先k个点当做中心,然后将其他的点分为三类。然后重新找k个点(找mean值点),当做中心。一直到cost function的值不变或者变化很小为止。
有的时候并不是最优解,这个时候该如何?用循环来解决,每一次计算cost,去最小值。就是最优解。
k如何选择?elbow method和later purpose方法两种。
+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
PCA: principal component algorithm
出发点:将数据压缩,将数据可视化。
principal component 的基本原则:将高维度的转换成低维度。
首先要有一个预处理:将数据都放到一个数量级上面。
然后用svd方法将n维度的数据降到k维度。用到了u(reduce)矩阵。
还可以将k维度的转换成原来的n维度的矩阵x(appr)
如何选择k?保留了多少variance?k从1开始,一直到某个数,每次循环都计算variance,然后去最小的。
logistic regression 和pca的区别?pca是计算垂直于直线的距离最小。但是linear regression是算垂直于x轴的最小值。
pca的应用:加速supervised learning。只有在logsitc regression无法得到想要的结果的时候才用pca,所以它是一个备胎。
不能用pca来prevent overfitting,因为会丢失许多重要的信息。