统计学习方法
文章平均质量分 50
ahigan
这个作者很懒,什么都没留下…
展开
-
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻
[阅读笔记]《统计学习方法》李航著:Chp3 k近邻本章概要 5. k近邻法不具有显式的学习过程3.1 k近邻算法多数表决3.2 k近邻模型k近邻使用的模型实际上对应于对特征空的划分距离度量:欧式距离、LpLpL_p距离、Minkowski距离k值选择:k减小->模型复杂性增加->容易过拟合;k值一般取较小的数值,通常采用交叉验证法来选取最优k值...原创 2018-04-18 21:56:48 · 210 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp2 感知机
[阅读笔记] 《统计学习方法》李航著:Chp2 感知机 perceptron本章概要2.1 感知机模型属于判别模型2.2 感知机学习策略感知机学习的目标是求得一个能够将训练集完全正确分类的分离超平面为了达到上述目标,学习的策略是定义经验损失函数并将损失函数极小化感知机学习中采用的损失函数为:误分类点到超平面S的总距离2.3 感知机学习算法...原创 2018-04-17 21:08:40 · 255 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp1 统计学习方法概论
机器学习两本中文必备书籍之一,强推阅读。本文仅记录笔者个人的一些阅读笔记及理解。 阅读时,建议可以先浏览章节最后的本章概要,对本章节的核心内容及讲述的逻辑关系有个大致的了解,再进入详读。本章概要部分节选 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科。统计学习包括监督学习、非监督学习、半监督学习和强化学习。 统计...原创 2018-04-17 10:05:19 · 232 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法
[阅读笔记]《统计学习方法》李航著:Chp4 朴素贝叶斯法本章概要 4.1 朴素贝叶斯法的学习与分类一重要假设前提:训练数据集是独立同分布产生的另一重要假设:条件独立性假设朴素贝叶斯的原理——后验概率最大化等价于期望风险最小化4.2 朴素贝叶斯法的参数估计极大似然估计:直接统计频数贝叶斯估计 Why:因为极大似然估计可能会出现所要估计的概率值为0...原创 2018-04-23 17:57:07 · 217 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp5 决策树
[阅读笔记]《统计学习方法》李航著:Chp5 决策树本章概要 5.1 决策树模型与学习损失函数:正则化的极大似然函数,策略:最小化损失函数树的生成停止条件: 所有训练数据子集都被基本正确分类没有合适的特征可能产生过拟合现象因此需要剪枝决策树的生成考虑局部最优,剪枝则考虑全局最优5.2 特征选择Why:特征数量很多,通过选择留下对训练数据有足够分类能力的...原创 2018-04-23 18:55:09 · 211 阅读 · 0 评论 -
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型
[阅读笔记]《统计学习方法》李航著:Chp6 逻辑斯谛回归与最大熵模型本章概要 6.1 逻辑斯谛回归模型逻辑斯谛分布:分布函数是以点(μ,12)(μ,12)(\mu,\frac{1}{2} )为中心对称的S形曲线几率(oods): 事件发生的概率与事件不发生的概率的比值对数几率多项逻辑斯谛回归6.2 最大熵模型最大熵原理:在所有可能的概率模型中,熵最大的模型是...原创 2018-04-24 15:15:00 · 155 阅读 · 0 评论 -
【阅读笔记】EM算法
EM是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计/极大后验概率估计基本步骤初始化参数θ\thetaθE步:计算期望,也就是Q函数(完全数据的对数似然函数关于在给定观测数据和当前参数下对隐变量的条件概率分布的期望,其中完全数据=观测数据+隐变量)M步:求使Q函数极大化的参数θ\thetaθ重复步骤2和步骤3,直至收敛EM算法的导出(=Q函数的导出)面对含隐变量的...原创 2019-05-08 12:10:32 · 306 阅读 · 0 评论