![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
统计学习方法
文章平均质量分 52
ahigan
这个作者很懒,什么都没留下…
展开
-
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻 本章概要 5. k近邻法不具有显式的学习过程 3.1 k近邻算法 多数表决 3.2 k近邻模型 k近邻使用的模型实际上对应于对特征空的划分 距离度量:欧式距离、LpLpL_p距离、Minkowski距离 k值选择:k减小->模型复杂性增加->容易过拟合;k值一般取较小的数值,通常采用交叉验证法来选取最优k值...原创 2018-04-18 21:56:48 · 200 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp2 感知机
[阅读笔记] 《统计学习方法》李航著:Chp2 感知机 perceptron 本章概要 2.1 感知机模型 属于判别模型 2.2 感知机学习策略 感知机学习的目标是求得一个能够将训练集完全正确分类的分离超平面 为了达到上述目标,学习的策略是定义经验损失函数并将损失函数极小化 感知机学习中采用的损失函数为:误分类点到超平面S的总距离 2.3 感知机学习算法 ...原创 2018-04-17 21:08:40 · 246 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp1 统计学习方法概论
机器学习两本中文必备书籍之一,强推阅读。本文仅记录笔者个人的一些阅读笔记及理解。 阅读时,建议可以先浏览章节最后的本章概要,对本章节的核心内容及讲述的逻辑关系有个大致的了解,再进入详读。 本章概要部分节选 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。 统计...原创 2018-04-17 10:05:19 · 224 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法 本章概要 4.1 朴素贝叶斯法的学习与分类 一重要假设前提:训练数据集是独立同分布产生的 另一重要假设:条件独立性假设 朴素贝叶斯的原理——后验概率最大化等价于期望风险最小化 4.2 朴素贝叶斯法的参数估计 极大似然估计:直接统计频数 贝叶斯估计 Why:因为极大似然估计可能会出现所要估计的概率值为0...原创 2018-04-23 17:57:07 · 207 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp5 决策树
[阅读笔记]《统计学习方法》李航著:Chp5 决策树 本章概要 5.1 决策树模型与学习 损失函数:正则化的极大似然函数,策略:最小化损失函数 树的生成停止条件: 所有训练数据子集都被基本正确分类 没有合适的特征 可能产生过拟合现象因此需要剪枝 决策树的生成考虑局部最优,剪枝则考虑全局最优 5.2 特征选择 Why:特征数量很多,通过选择留下对训练数据有足够分类能力的...原创 2018-04-23 18:55:09 · 203 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型 本章概要 6.1 逻辑斯谛回归模型 逻辑斯谛分布:分布函数是以点(μ,12)(μ,12)(\mu,\frac{1}{2} )为中心对称的S形曲线 几率(oods): 事件发生的概率与事件不发生的概率的比值 对数几率 多项逻辑斯谛回归 6.2 最大熵模型 最大熵原理:在所有可能的概率模型中,熵最大的模型是...原创 2018-04-24 15:15:00 · 148 阅读 · 0 评论 -
【阅读笔记】EM算法
EM是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计/极大后验概率估计 基本步骤 初始化参数θ\thetaθ E步:计算期望,也就是Q函数(完全数据的对数似然函数关于在给定观测数据和当前参数下对隐变量的条件概率分布的期望,其中完全数据=观测数据+隐变量) M步:求使Q函数极大化的参数θ\thetaθ 重复步骤2和步骤3,直至收敛 EM算法的导出(=Q函数的导出) 面对含隐变量的...原创 2019-05-08 12:10:32 · 302 阅读 · 0 评论