8 模型分类总结 机器学习基本理论入门

8 模型分类总结 机器学习基本理论入门

监督学习与非监督学习简介

简介内容
（1） 牢记并且理解机器学习的基本概念
（2） 理解监督学习和非监督学习的区别
（3） 建立起特征工程的概念
（4） 了解常见的监督学习算法和非监督学习算法

经典监督学习算法

（1） 牢记信息论的基本公式（信息熵、交叉熵计算）
（2） 决策树属性划分的几种依据以及缺点

（3） 熟练掌握回归模型中的矩阵运算
（4） 了解矩阵运算时各种情况的求解（满秩、秩亏损）
（5） 线性到非线性的变换（换汤不换药，掌握这种非线性变换的思想）

经典非监督学习算法

K-Means算法
（1） 了解聚类算法效果的两大评估方法（有标准参考和没有标准参考）
（2） 熟练掌握两个特征向量之间的距离计算的方式
（3） 牢记K-Means的基本流程

（4） 理解EM算法的朴素思想
（5） 了解EM算法在高斯混合模型聚类中的应用

生成模型与判别式模型

都是监督学习算法，核心都是贝叶斯公式，代表两种世界观。
生成模型
（1） 熟练掌握使用贝叶斯公式机械能分类
（2） 了解0-1损失
（3） 理解判别式函数
（4） 多元数据（统计特征、多元高斯分布、多元数据的分类）
判别式模型
（5） 理解生成模型和判别式模型的区别
（6） 熟悉线性判别式
（7） 掌握分对数变换到逻辑斯蒂判别式
（8） 掌握从二分类的逻辑斯蒂到多分类的softmax