统计学习方法第二版笔记
李航《统计学习方法第二版》笔记
ball23god
这个作者很懒,什么都没留下…
展开
-
第十六章 主成分分析
原创 2021-04-05 12:15:05 · 239 阅读 · 0 评论 -
第十五章 奇异值分解
>>>几何解释 >>>矩阵近似 矩阵在佛罗贝尼乌斯范数下的最有近似的证明 >>>使用外积展开式求解矩阵近似原创 2021-04-04 17:40:58 · 94 阅读 · 0 评论 -
第十四章 聚类方法
>>>参考三个博客: https://blog.csdn.net/abc200941410128/article/details/78541273 https://blog.csdn.net/Katherine_hsr/article/details/79382249 https://www.zhihu.com/question/34554321 >>>层次聚类 >>>均值聚类 ...原创 2021-04-04 12:02:59 · 174 阅读 · 0 评论 -
第十二章 监督学习方法总结
原创 2021-04-03 21:34:31 · 99 阅读 · 0 评论 -
第十一章 条件随机场
>>>条件随机场的参数化形式 >>>条件随机场的矩阵形式 >>>计算概率问题 >>>学习算法 >>>预测算法(维特比算法)原创 2021-04-03 21:25:18 · 64 阅读 · 0 评论 -
第十章 隐马尔可夫模型
>>>隐马模型的基本问题 >>>概率计算问题 前向算法 后向算法 一些固定表述 >>>学习算法,求解参数 下图只列出了Πi的推导过程,aij和bj(k)推导同理 >>>预测算法 维特比算法 ...原创 2021-04-03 10:51:34 · 66 阅读 · 0 评论 -
第九章 EM算法及其推广
>>>EM算法推导 下图的主要步骤是通过构造詹森不等式,将对期望的函数转化为函数的期望,也即将求期望的权值也即下图中的P(Z|X)移到log函数外面。log函数为凹函数,所以刚好期望的函数 要大于函数的期望,也即确定了下界。 >>>EM算法的步骤 >>>三硬币问题 ...原创 2021-04-01 23:29:21 · 169 阅读 · 0 评论 -
第八章 提升算法
>>>adaboost算法过程 >>>误差分析 >>>证明前向分布算法的损失函数为指数损失函数时等价于Adaboost算法 >>>梯度提升树的理解 参考:https://blog.csdn.net/anshuai_aw1/article/details/82888222 个人理解: 1)本质上梯度提升是让每次拟合时的损失函数减小,也即希望每次拟合后的真实值和预测值的残差减..原创 2021-04-01 11:08:02 · 84 阅读 · 0 评论 -
第七章 支持向量机
>>>推导过程 可参考: https://www.bilibili.com/video/BV1mE411p7HE https://www.bilibili.com/video/BV12E411T7ZN https://www.bilibili.com/video/BV1uE411V7h4 https://www.bilibili.com/video/BV1xE411w7Go >>>定理证明 ...原创 2021-03-30 23:26:49 · 99 阅读 · 0 评论 -
附录 优化算法小结
>>>牛顿法 :https://blog.csdn.net/qq_28743951/article/details/82221515 >>>拟牛顿法: 在牛顿法的基础上对海森矩阵或者海森矩阵的逆矩阵做近似https://blog.csdn.net/itplus/article/details/21896619 >>>DFP拟牛顿法:对海森矩阵的逆矩阵做近似。 https://blog.csdn.net/itplus/article/detai...原创 2021-03-30 15:26:08 · 68 阅读 · 0 评论 -
第六章 逻辑回归和最大熵模型
>>>逻辑回归推导及其向量化:https://blog.csdn.net/qq_38923076/article/details/82925183 >>>最大熵模型 >>>关于拉格朗日对偶性 >>>原问题最优解和对偶问题最优解的关系 1)定理1 2)定理2: 3)定理3: `>>>证明最大熵模型的对偶函数等价于条件概率分布为最大熵模型的极大似然估计 ...原创 2021-03-29 17:36:59 · 83 阅读 · 0 评论 -
第五章 决策树
>>>决策树构建 >>>决策树剪枝(后剪枝) >>>后剪枝过程原创 2021-03-28 11:19:48 · 83 阅读 · 0 评论 -
第四章 朴素贝叶斯
原创 2021-03-27 22:15:38 · 51 阅读 · 0 评论 -
第三章 k近邻
>>>构造kd树 对样本按照特征1从小到大排列,取特征1的中位数作为分界点,该点作为kd树的根节点,小于特征1中位数的划分到左子节点,大于特征1中位数的划分到右子节点。在两个子节点的所有样本中,按照特征2的值从小到大排列,分别划分节点。遍历特征个数创建树。如果所有特征数均用完,则从特征1开始继续构建。 >>>根据kd数查找与目标点距离最近的点 ...原创 2021-03-27 16:06:35 · 55 阅读 · 0 评论 -
第二章 感知机
>>>定理2.1证明 1)证明: 2)证明 >>>对偶形式原创 2021-03-27 15:25:29 · 57 阅读 · 0 评论 -
第一章 概论
>>>课后题1.1 >>>课后题1.2 >>>课后题原创 2021-03-27 10:33:48 · 67 阅读 · 0 评论