常用机器学习算法【一】

       马上就要找工作了，把自己学习使用过的常用机器学习算法整理出来，权当做笔记了。先从简单的算法开始吧，首先是K近邻。

       

       K近邻简单、直观：给定一个训练样本集，对于新的输入实例，在训练数据集中找到与该实例最临近的K个实例，这K个实例中的多数属于某个类，就把该输入样例分为这个类。算法三要素：K值选择、距离度量、分类决策规则

  实现方法：

      最简单：线性扫描，计算每个训练样本和输入实例的距离，训练集很大时，计算耗时

  可以采用特殊的结构储存训练数据，KD树，提升算法效率

KNN算法的优点：

1. 思想简单，理论成熟，既可以用来做分类也可以用来做回归；

2. 可用于非线性分类；

3. 训练时间复杂度为O(n)；

4. 准确度高，对数据没有假设，对outlier不敏感；

缺点：

1. 计算量大；

2. 样本不平衡问题（即有些类别的样本数量很多，而其它样本的数量很少）；

3. 需要大量的内存；

  再说下无监督聚类，聚类属于无监督学习，以往的上面的KNN都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中的点集。聚类的目的是找到每个样本x潜在的类别y，并将同类别y的样本x放在一起。比如天上的星星，聚类后结果是一个个星团，星团里面的点相互距离比较近，星团间的星星距离就比较远了。

     在聚类问题中，给我们的训练样本是，每个，没有了y。

      K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：

1、 随机选取k个聚类质心点（cluster centroids）为。 2、 重复下面过程直到收敛 {                对于每一个样例i，计算其应该属于的类                                对于每一个类j，重新计算该类的质心                 }

     K是我们事先给定的聚类数，代表样例i与k个类中距离最近的那个类，的值是1到k中的一个。质心代表我们对属于同一个类的样本中心点的猜测，拿星团模型来解释就是要将所有的星星聚成k个星团，首先随机选取k个宇宙中的点（或者k个星星）作为k个星团的质心，然后第一步对于每一个星星计算其到k个质心中每一个的距离，然后选取距离最近的那个星团作为，这样经过第一步每一个星星都有了所属的星团；第二步对于每一个星团，重新计算它的质心（对里面所有的星星坐标求平均）。重复迭代第一步和第二步直到质心不变或者变化很小。

       下一步总结一下线性回归算法！