机器学习常用算法（1）最小二乘和k-means聚类

最近复习算法准备校招，顺便写一写算作补上以前欠的债。

1.最小二乘法

有一堆数据点（Xi，Yi），其中i从0到n，那么我现在用一个超平面去拟合这些数据点，这个超平面的方程形式？whatever，在最小二乘里这不是重点，你可以是线性也可以是非线性，方程就记作y=f(x)，其中有参数Bi，假设有k个。

好我们的环境已经配好了，然后是方法的应用。这个方法是一个参数估计方法，损失函数是误差的平方和，估计的方法是求偏导。结束了。

这个比较基础，就懒得写公式了。。

2.k-means

算法的步骤如下：

1. 随机在特征空间里取K个种子点（初始点）。
2. 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。
3. 接下来，根据点群中所有点的坐标更新中心的坐标，更新公式后面介绍。
4. 然后重复第2）和第3）步，直到，种子点没有移动。

在这给出三种计算距离的公式：