![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
ML学习笔记
文章平均质量分 91
yierrrrr
这个作者很懒,什么都没留下…
展开
-
【ML学习笔记05】《统计学习方法》—ch05:决策树
1.分类决策树模型是表示基于特征对实例进行分类的树形结构.决策树可以转换成一个 if-then 规则的集合,也可以看作是定义在特征空间划分上的类的条件概率分布.2.决策树学习旨在构建一个与训练数据拟合很好,并且复杂度小的决策树.因为从可能的决策树中直接选取最优决策树是 NP 完全问题.现实中采用启发式方法学习次优的决策树.决策树学习算法包括 3 部分:特征选择、树的生成和树的剪枝.常用的算法有 ID3、C4.5 和 CART.原创 2022-08-24 15:44:28 · 331 阅读 · 0 评论 -
【ML学习笔记04】《统计学习方法》—ch04:朴素贝叶斯法
1.朴素贝叶斯法是典型的生成学习方法.生成方法由训练数据学习联合概率分布 P( X, Y) ,然后求得后验概率分布 P(Y| X) .具体来说,利用训练数据学习P( X| Y) 和 P(Y) 的估计,得到联合概率分布,概率估计方法可以是极大似然估计或贝叶斯估计。2.朴素贝叶斯法的基本假设是条件独立性,这是一个较强的假设.由于这一假设,模型包含的条件概率的数量大为减少,朴素贝叶斯法的学习与预测大为简化。3.朴素贝叶斯法利用贝叶斯定理与学到的联合概率模型进行分类预测.将输入 x 分到后验概率最大的类 y..原创 2022-08-05 20:22:19 · 241 阅读 · 0 评论 -
【ML学习笔记03】《统计学习方法》—ch03:k近邻法
1.k 近邻法是基本且简单的分类与回归方法.k 近邻法的基本做法是:对给定的训练实例点和输入实例点,首先确定输入实例点的k 个最近邻训练实例点,然后利用这 k 个训练实例点的类的多数来预测输入实例点的类.2.k 近邻模型对应于基于训练数据集对特征空间的一个划分.3.k 近邻法三要素:距离度量、k 值的选择和分类决策规则.4. k 近邻法的实现需要考虑如何快速搜索 k 个最近邻点. kd 树是一种便于对 k 维空间中的数据进行快速检索的数据结构....原创 2022-08-04 16:48:13 · 195 阅读 · 0 评论 -
【ML学习笔记02】《统计学习方法》—ch02:感知机
1.感知机是根据输入实例的特征向量 x 对其进行二类分类的线性分类模型,感知机模型对应于输入空间(特征空间)中的分离超平面。2.感知机学习的策略是极小化损失函数:损失函数对应于误分类点到分离超平面的总距离.3.感知机学习算法是基于随机梯度下降法的对损失函数的最优化算法,有原始形式和对偶形式.算法简单且易于实现.原始形式中,首先任意选取一个超平面,然后用梯度下降法不断极小化目标函数.在这个过程中一次随机选取一个误分类点使其梯度下降.4.当训练数据集线性可分时,感知机学习算法是收敛的....原创 2022-08-03 18:36:35 · 106 阅读 · 0 评论 -
【ML学习笔记01】《统计学习方法》—ch01:概论
1.统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行分析与预测的一门学科.2.统计学习方法三要素——模型、策略、算法,对理解统计学习方法起到提纲挈领的作用.3.本书主要讨论监督学习.4.统计学习中,进行模型选择或者说提高学习的泛化能力是一个重要问题.如果只考虑减少训练误差,就可能产生过拟合现象.模型选择的方法有正则化与交叉验证.学习方法泛化能力的分析是统计学习理论研究的重要课题.5.分类问题、标注问题和回归问题都是监督学习的重要问题....原创 2022-08-02 16:56:27 · 351 阅读 · 0 评论