大数据十大算法

一、C4.5
C4.5，是机器学习算法中的一个分类决策树算法，
它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法
ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。
决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。
C4.5相比于ID3改进的地方有：
1、用信息增益率来选择属性。
ID3选择属性用的是子树的信息增益，这里可以用很多方法来定义信息，ID3使用的是熵(entropy，熵是一种不纯度度量准则),
也就是熵的变化值.
而C4.5用的是信息增益率。对，区别就在于一个是信息增益，一个是信息增益率。
一般来说率就是用来取平衡用的，就像方差起的作用差不多，
比如有两个跑步的人，一个起点是10m/s的人、其10s后为20m/s；
另一个人起速是1m/s、其1s后为2m/s。
如果紧紧算差值那么两个差距就很大了，如果使用速度增加率(加速度，即都是为1m/s^2)来衡量，2个人就是一样的加速度。
因此，C4.5克服了ID3用信息增益选择属性时偏向选择取值多的属性的不足。
2、在树构造过程中进行剪枝，在构造决策树的时候，那些挂着几个元素的节点，不考虑最好，不然容易导致overfitting。
3、对非离散数据也能处理。
4、能够对不完整数据进行处理。
 
二、The k-means algorithm 即K-Means算法
k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割(k < n)。
它与处理混合正态分布的最大期望算法(本十大算法第五条)很相似