统计学习方法 李航(第二版)学习笔记
本人研究生一年级阶段的学习笔记
小哈蒙德
计算机视觉萌新
展开
-
统计学习方法 李航 (第二版) 泛化能力
泛化误差定义: 公式即期望公式,如果损失函数为连续的就积分,离散就求和 泛化误差上界:是样本容量的函数,当样本容量增加时,泛化上界趋于0; 是假空间容量的函数,假设空间容量越大,模型就越难学,泛化误差上界就越大 ( 样本是来训练的,容量越大,训练模型越精确;假设空间是模型泛化的空间,容量越大越难泛化) 泛化误差上界定理的证明问题: 参考 机器学习数学原理(8)——霍夫丁不等式 参考 机...原创 2020-10-14 23:03:00 · 179 阅读 · 0 评论 -
统计学习方法 李航(第二版)贝叶斯估计,统计学习方法三要素,过拟合与模型选择
贝叶斯估计:计算在给定数据条件下模型的条件给吕,即后验概率,并应用这个原理进行模型的估计,以及对数据的预测。 特点:使用模型的先验分布。 贝叶斯估计与极大似然估计在思想上有很大不同,代表着统计学中贝叶斯学派和频率学派对统计的不同认识。 两者的联系:假设先验分布是均匀分布,取后验概率最大,就能从贝叶斯估计得到极大似然估计。 方法=模型+策略+算法 模型:条件概率分布 or 决策函数 模型的假设空间(hypothesis space)包含...原创 2020-10-14 15:14:43 · 561 阅读 · 0 评论 -
统计学习方法 李航 (第二版)马尔可夫决策过程(Markov decisions process)
马尔可夫决策过程是基于马尔可夫过程理论的随机动态系统的最优决策过程。马尔可夫决策过程是序贯决策的主要研究领域。它是马尔可夫过程与确定性的动态规划相结合的产物,故又称马尔可夫型随机动态规划,属于运筹学中数学规划的一个分支。 马尔可夫决策过程是指决策者周期地或连续地观察具有马尔可夫性的随机动态系统,序贯地作出决策。即根据每个时刻观察到的状态,从可用的行动集合中选用一个行动作出决策,系统下一步(未来)的状态是随机的,并且其状态转移概率具有马尔可夫性。决策者根据新观察到的状态,再作新的决策,依此反复地进行。马原创 2020-10-13 14:06:29 · 212 阅读 · 0 评论