机器学习目录结构

前言：监督式学习
第一部分 线性回归

1. 最小均方差算法(LMS algorithm)
2. 正规方程组
   2.1. 矩阵导数
   2.2. 最小方差回顾
3. 用概率论原理阐述最小均方差
4. 局部加权线性回归

第二部分 分类和逻辑回归

1. 逻辑回归
2. 引申：感知机学习模型
3. 最大化对数似然函数——牛顿方法

第三部分 广义线性模型

1. 指数族函数
2. 构造广义线性模型(GLM)
   2.1. 普通均方差
   2.2. 逻辑回归
   2.3. Softmax 回归

第四部分 生成学习算法

1. 高斯判别分析
   1.1. 多项式普通分布
   1.2. 高斯判别分析模型
   1.3 讨论：高斯判别分析与逻辑回归
2. 朴素贝叶斯
   2.1. 拉普拉斯平滑
   2.2. 文字分类的事件模型

第五部分 支持向量机

1. 间隔的直观理解
2. 标记符
3. 函数约束和几何约束
4. 最优间隔分类器（一）
5. 拉格朗日对偶问题
6. 最优间隔分类器（二）
7. 核函数
8. 正规化和线性不可分
9. 顺序最小化(SMO)算法
   9.1. 坐标上升算法
   9.2. SMO

第六部分 学习理论

1. 偏差和波动平衡
2. 联合边界定理、霍夫丁不等式和经验误差最小化
3. 有限假设集$\mathcal{H}$
4. 无限假设集$\mathcal{H}$
5. 正规化和模型选择
   5.1. 坐标上升算法
   5.2. 特征选择
   5.3. 贝叶斯统计和正规化
6. 感知器和大间隔分类器

第七部分 k-means 聚类算法

**第八部分 混合高斯模型和EM算法 **

第九部分 EM算法

1. Jensen 不等式
2. EM算法
3. 回顾高斯混合模型

第十部分 因子分析

1. $\Sigma$的约束
2. 多元高斯分布的边缘分布和条件分布
3. 因子分析模型
4. EM算法应用于因子分析

第十一部分 主元素分析

第十二部分 独立元素分析

1. 独立元素模糊
2. 密度和线性变换
3. 独立元素分析法

第十三部分 增强学习和控制

1. 马科夫决策过程
2. 值迭代与策略迭代
3. 马科夫决策过程学习模型