本书《机器学习的数学理论:理论与应用》全面探讨了机器学习算法的数学基础及其应用。它阐述了理解机器学习算法有效性所需的理论框架,并提供了优化机器学习过程的新技术。全书分为三个主要部分:
- 引言:介绍了机器学习、神经网络、深度学习和梯度下降的基本概念,解释了这些概念的重要性及其在各个领域的应用。
- 机器学习的数学框架:理论部分:深入探讨了支撑机器学习算法的数学理论,包括优化技术、梯度下降收敛和非凸优化问题中实现高速收敛的新方法。
- 机器学习的数学框架:应用部分:重点介绍了前述理论概念的实际应用,包括改进的稀疏子空间聚类算法、在线发现多变量时间序列中的稳定因果关系,并通过实证研究展示了所提出方法的有效性。
目录(中文)
- 引言:介绍了机器学习、神经网络、深度学习和梯度下降的基本概念,解释了这些概念的重要性及其在各个领域的应用。
- 机器学习的数学框架:理论部分:深入探讨了支撑机器学习算法的数学理论,包括优化技术、梯度下降收敛和非凸优化问题中实现高速收敛的新方法。
- 机器学习的数学框架:应用部分:重点介绍了前述理论概念的实际应用,包括改进的稀疏子空间聚类算法、在线发现多变量时间序列中的稳定因果关系,并通过实证研究展示了所提出方法的有效性。
-
第一部分:引言
- 第一章:引言
- 1.1 神经网络
- 1.1.1 迭代的学习过程
- 1.2 深度学习
- 1.3 梯度下降
- 1.3.1 批量梯度下降
- 1.3.2 随机梯度下降
- 1.3.3 小批量梯度下降
- 1.4 总结
- 1.5 研究专著的组织结构
- 1.1 神经网络
- 第一章:引言
-
第二部分:机器学习的数学框架:理论部分
- 第二章:数学的总体框架
- 第三章:优化公式
- 3.1 机器学习所需的优化技术
- 3.1.1 梯度下降
- 3.1.2 加速梯度下降
- 3.1.3 稀疏子空间聚类的应用
- 3.2 在线算法:机器学习的顺序更新
- 3.2.1 多变量时间序列(MTS)的应用
- 3.1 机器学习所需的优化技术
- 第四章:CoCoSSC方法的新技术开发
- 4.1 研究问题
- 4.2 加速梯度下降
- 4.3 CoCoSSC方法
- 4.3.1 CoCoSSC的优点
- 4.4 在线时变弹性网算法
- 第五章:所提方法的必要符号
- 第六章:非凸程序几何学的相关工作
-
第三部分:机器学习的数学框架:应用部分
- 第七章:梯度下降收敛到最小值:最优和自适应步长规则
- 7.1 引言
- 7.1.1 相关工作
- 7.2 符号和预备知识
- 7.3 最大允许步长
- 7.4 自适应步长规则
- 7.5 定理7.1的证明
- 7.6 定理7.2的证明
- 7.6.1 哈特曼乘积映射定理
- 7.7 其他定理
- 7.8 技术证明
- 7.9 结论
- 7.1 引言
- 第八章:基于优化的守恒定律方法
- 8.1 热身:直观的分析演示
- 8.2 辛方案和算法
- 8.2.1 人工耗散能量算法
- 8.2.2 利用能量守恒算法检测局部最小值
- 8.2.3 综合算法
- 8.3 局部高速收敛现象的渐近分析
- 8.4 实验演示
- 8.4.1 强凸函数
- 8.4.2 非强凸函数
- 8.4.3 非凸函数
- 8.5 结论与进一步研究
- 第九章:在有噪声和缺失观测的情况下改进稀疏子空间聚类的样本复杂度
- 9.1 CoCoSSC算法的主要结果
- 9.1.1 非均匀半随机模型
- 9.1.2 完全随机模型
- 9.2 证明
- 9.2.1 噪声表征和预处理的可行性
- 9.2.2 最优性条件和对偶证书
- 9.2.3 确定性成功条件
- 9.2.4 随机模型中μ̃和r的界限
- 9.3 数值结果
- 9.4 技术细节
- 9.5 结论性评论
- 9.1 CoCoSSC算法的主要结果
- 第十章:多变量时间序列中稳定和分组因果关系的在线发现
- 10.1 问题的提出
- 10.2 弹性网正则化
- 10.2.1 基本优化模型
- 10.2.2 对应的贝叶斯模型
- 10.2.3 时变因果关系模型
- 10.3 在线推理
- 10.3.1 粒子学习
- 10.3.2 更新过程
- 10.3.3 算法
- 10.4 实证研究
- 10.4.1 基准算法
- 10.4.2 评价指标
- 10.4.3 合成数据和实验
- 10.4.4 气候数据和实验
- 10.5 结论与未来工作
- 第十一章:结论
- 第七章:梯度下降收敛到最小值:最优和自适应步长规则
-
参考文献
-
出版物列表
-
索引