机器学习算法

最近在学习机器学习。。。（看的是《机器学习实战》）

先简单记录一下，其实看似高端的理论或算法，有些在我们平时生活中也有应用，比如机器学习中常用的k-近邻算法（kNN），最大期望值算法等；

在机器学习中常用的算法包括：决策树，k-均值（k-mean），支持向量机（SVN），k-近邻算法（kNN），最大期望值算法，贝叶斯算法（NB）和分类回归树。

就拿最简单的k-近邻算法来说：

KNN是通过测量不同特征值之间的距离进行分类。它的的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，

则该样本也属于这个类别。K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本

的类别来决定待分样本所属的类别。

举一个简单的例子，来电影来说，根据一个电影镜头里面的打架和接吻次数来判断这个是爱情片还是动作片（书中的例子），首先我们有一个样本，根据人的主观臆断已经分好类了，也就是我们所说的训练样本。

然后输入一个新电影的特征，然后就用一个简单的最小二乘法去和样本中的每个电影特征去求距离，将求得的距离从小到大排序，取前面k个值做判断，如果偏向于

动作片则就是动作片，如果偏向于爱情片，则该新片就是爱情片，其实这个就是我们生活中参考分类。

比如将苹果分类，分为一等品，二等品等，我们根据重量，颜色，大小来确定和估计，这个K-近邻算法分类是一个道理，只是在我们的大脑中已经将一二等品训练过

很多次了，所以可以直观的分类出来了，其他算法也类似，接下来有时间将学习其他算法

写此博客的意图主要在于自己去理解算法，并做一个简单的笔记，对于代码和算法的原理并有介绍，可能别人参考有限，在此抱歉。。。