机器学习（周志华）算法目录

第1章 1

第2章 模型评估与选择 23

2.1 经验误差与过拟合 23

2.2 评估方法 24

• 留出法 25
• 交叉验证法 26
• 自助法 27

2.3 性能度量 28

• 错误率与精度 29
• 查准率、查全率与F1 30
• ROC与AUC 33
• 代价敏感错误率与代价曲线 35

2.4 比较检验 37

• 假设检验 37
• 交叉验证t检验 40
• McNemar检验 41
• Friedman检验与后续检验 42

2.5 偏差与方差 44

第3章 线性模型 53

3.1 基本形式 53

3.2 线性回归 53

• 最小二乘法 54
• 对数线性回归 56

3.3 对数几率回归 57

3.4 线性判别分析 60

3.5 多分类学习 63

• OvO
• OvR
• MvM （其中一种：纠错输出码）

3.6 类别不平衡问题 66

• 欠采样
• 过采样
• 阈值移动

第4章 决策树 73

4.1 基本流程 73

4.2 划分选择 75

• 信息增益 75
• 增益率 77
• 基尼指数 79

4.3 剪枝处理 79

• 预剪枝 80
• 后剪枝 82

4.4 连续与缺失值 83

4.4.1 连续值处理 83

• 二分法

4.4.2 缺失值处理 85

4.5 多变量决策树 88

第5章 神经网络 97

5.1 神经元模型 97

5.2 感知机与多层网络 98

5.3 误差逆传播算法 101

5.4 全局最小与局部极小 106

5.5 其他常见神经网络 108

5.5.1 RBF网络 108
5.5.2 ART网络 108
5.5.3 SOM网络 109
5.5.4 级联相关网络 110
5.5.5 Elman网络 111
5.5.6 Boltzmann机 111

5.6 深度学习 113

第6章 支持向量机 121

6.1 间隔与支持向量 121

6.2 对偶问题 123

• SMO算法

6.3 核函数 126

6.4 软间隔与正则化 129

6.5 支持向量回归 133

6.6 核方法 137

第7章 贝叶斯分类器 147

7.1 贝叶斯决策论 147

7.2 极大似然估计 149

7.3 朴素贝叶斯分类器 150

7.4 半朴素贝叶斯分类器 154

• 独依赖估计ODE，SPODE，TAN，AODE

7.5 贝叶斯网 156

7.5.1 结构 157
7.5.2 学习 159
7.5.3 推断 161

7.6 EM算法 162

第8章 集成学习 171

8.1 个体与集成 171

8.2 Boosting 173

• AdaBoost

8.3 Bagging与随机森林 178

• Bagging 178
• 随机森林 179

8.4 结合策略 181

• 平均法 181
• 投票法 182
• 学习法(如Stacking) 183

8.5 多样性 185

8.5.1 误差–分歧分解 185
8.5.2 多样性度量 186

• 不合度量，相关系数，