机器学习基础之学习方式

机器学习基础-学习方式：

1、监督学习（supervisedlearning）；

概念：对有标记的训练样本进行学习，实现训练样本以外的数据进行标记预测。

典型算法：1、决策树；2、朴素贝叶斯、3、神经网络；4、支持向量机；

2、半监督学习（semi-supervisedlearning）；

概念：同时使用标记及未标记的训练样本进行学习。

基本思想是利用数据分布上的模型假设建立学习期对未标签样本进行标定。

建立预测样本和学习目标之间关系的常用基本假设：

（1）平滑假设(Smoothness Assumption)：位于稠密数据区域的两个距离很近的样本的类标签相似，也就是说，当两个样本被稠密数据区域中的边连接时，它们在很大的概率下有相同的类标签；相反地，当两个样本被稀疏数据区域分开时，它们的类标签趋于不同。

（2）聚类假设(Cluster Assumption)：当两个样本位于同一聚类簇时，它们在很大的概率下有相同的类标签。这个假设的等价定义为低密度分离假设，即分类决策边界应该穿过稀疏数据区域，而避免将稠密数据区域的样本分到决策边界两侧。

（3）流形假设(Manifold Assumption)：将高维数据嵌入到低维流形中，当两个样本位于低维流形中的一个小局部邻域内时，它们具有相似的类标签。

典型算法：1、自训练算法；2、多视角算法；3、生成模型；4、转导SVM；5、基于图的算法。

3、无监督学习（unsupervised learning）；

概念：对无标记的训练样本进行学习，以发现训练样本集中的结构性知识。

典型算法：1、自编码、稀疏编码、降噪自编码（确定型）；2、限制玻尔兹曼机（概率型）。

4、强化学习 （reinforcementlearning）；

概念：智能系统从环境到行为映射的学习，使奖励信号（强化信号）函数值最大。

典型算法：1、动态规划；2、蒙特卡罗算法；3、瞬时差分学习算法