《Foundations of Machine Learning》第二版是一本关于机器学习基础的全面书籍,旨在为研究人员提供参考书,同时为学生提供教材。书中涵盖了现代机器学习中的基本话题,并提供了讨论和论证算法所需的理论基础和概念工具。以下是本书的主要内容总结:
- 介绍:定义机器学习,并讨论其可以解决的问题、标准学习任务和学习阶段。
- PAC学习框架:介绍PAC(Probably Approximately Correct)学习模型,包括有限假设集的一致和非一致情况的保证。
- Rademacher复杂度和VC维度:讨论Rademacher复杂度、增长函数和VC维度。
- 模型选择:介绍估计和逼近误差、经验风险最小化(ERM)、结构风险最小化(SRM)和交叉验证等。
- 支持向量机(SVM):详细讲解线性分类、可分和不可分情况、支持向量以及边界理论。
- 核方法:介绍正定对称核、再生核Hilbert空间(RKHS)、负定对称核和序列核。
- 提升方法:主要讨论AdaBoost及其理论结果。
- 在线学习:包括专家建议的预测、线性分类、在线到批处理转换等。
- 多类分类:包括多类分类问题、泛化界、未组合和组合的多类算法。
- 排序:介绍排序问题、排序的SVM、RankBoost和双极排序等。
- 回归:讨论回归问题、回归算法及其泛化界。
- 最大熵模型:介绍密度估计问题、最大似然解、最大后验解和最大熵模型。
- 条件最大熵模型:讨论条件最大熵原则、条件最大熵模型及其性质。
- 算法稳定性:介绍稳定性的定义、稳定性基础上的泛化保证和核基础的正则化算法的稳定性。
- 降维:包括主成分分析(PCA)、核主成分分析(KPCA)及流形学习。
- 学习自动机与语言:介绍有限自动机、有效的精确学习和极限中的识别。
- 强化学习:讨论学习情境、马尔可夫决策过程(MDP)模型、策略及其评估与规划算法。
详细目录
以下是《Foundations of Machine Learning》第二版的目录格式:
- 引言
- 机器学习是什么?
- 机器学习可以解决哪些问题?
- 标准学习任务
- 学习阶段
- 学习场景
- 泛化
- PAC学习框架
- PAC学习模型
- 有限假设集的一致情况保证
- 有限假设集的非一致情况保证
- Rademacher复杂度和VC维度
- Rademacher复杂度
- 增长函数
- VC维度
- 下界
- 模型选择
- 估计和逼近误差
- 经验风险最小化(ERM)
- 结构风险最小化(SRM)
- 交叉验证
- n折交叉验证
- 基于正则化的算法
- 凸替代损失
- 支持向量机(SVM)
- 线性分类
- 可分情况
- 不可分情况
- 边界理论
- 核方法
- 正定对称核
- 核基础的算法
- 负定对称核
- 序列核
- 近似核特征映射
- 提升方法
- AdaBoost
- 理论结果
- L1正则化
- 在线学习
- 专家建议的预测
- 线性分类
- 在线到批处理转换
- 博弈论连接
- 多类分类
- 多类分类问题
- 泛化界
- 未组合的多类算法
- 组合的多类算法
- 排序
- 排序问题
- 排序的SVM
- RankBoost
- 双极排序
- 偏好设置排序
- 回归
- 回归问题
- 泛化界
- 回归算法
- 最大熵模型
- 密度估计问题
- 最大熵模型
- 对偶问题
- 条件最大熵模型
- 学习问题
- 条件最大熵模型
- 对偶问题
- 算法稳定性
- 稳定性的定义
- 稳定性基础上的泛化保证
- 降维
- 主成分分析(PCA)
- 核主成分分析(KPCA)
- KPCA与流形学习
- 学习自动机与语言
- 引言
- 有限自动机
- 有效的精确学习
- 强化学习
- 学习情境
- 马尔可夫决策过程(MDP)模型
- 策略
- 规划算法
- 学习算法
附录: A. 线性代数回顾 B. 凸优化 C. 概率回顾 D. 集中不等式 E. 信息理论概念