机器学习算法原理和思路

机器学习算法

有监督学习：分类和预测

1、KNN算法：通过计算未知数据和样本距离中，数目最多类判断未知类归属。

2、决策树算法：通过信息增益来划分类，然后逐级划分到叶子节点。

3、贝叶斯算法：通过判断文本拆分后和样本比较出现的概率来确定是否过滤。

无监督学习：聚类和关联

1、聚类算法：通过判断相同属性归类。

2、关联算法：通过计算样本出现的次数概率，和所有频繁项集同时出现的概率来判断关联程度。

半监督学习

这类问题给出的训练数据，有一部分有标签，有一部分没有标签。我们想学习出数据组织结构的同时，也能做相应的预测。此类问题相对应的机器学习算法有自训练(Self-Training)、直推学习(Transductive Learning)、生成式模型(Generative Model)等。