读西瓜书
文章平均质量分 95
超级虚空
hypervoid
展开
-
7-贝叶斯分类器
EM算法的核心思想是通过迭代的方式,通过观测数据和隐变量的期望值来更新参数的估计值。M步骤(Maximization Step):在M步骤中,使用E步骤中计算得到的隐变量的期望值,通过最大化完全数据的对数似然函数或对数后验概率函数来更新参数的估计值。E步骤(Expectation Step):在E步骤中,计算隐变量的后验概率(给定观测数据和当前参数估计),并将其作为隐变量的期望值。是在半朴素贝叶斯的基础上更加泛化的模型,具有更强大和灵活的建模能力,可以更准确地表示和推断变量之间的复杂关系。原创 2024-02-01 21:27:23 · 952 阅读 · 0 评论 -
3-线性模型部分题解
ECOC 编码能起到理想纠错作用的重要条件是:在每一位编码上出错的概率相当且独立.试析多分类任务经 ECOC 编码后产生的二类分类器满足该条件的可能性及由此产生的影响.对实数集上的函数,可通过求二阶导数来在判别,若二阶导数在区间中非负,则称为凸函数,若二阶导数在区间上恒大于 0,则称为严格凸函数.(p54)试推导出多分类代价敏感学习(仅考虑基于类别的误分类代价)使用"再缩放"能获得理论最优解的条件.,对率回归的目标函数非凸,但对数似然函数是凸的。编程实现对率回归,并给出西瓜数据集。,只能用拟牛顿法了😿。原创 2024-01-19 22:57:02 · 384 阅读 · 0 评论 -
最小二乘法-多个角度解释
最小二乘法在机器学习中的应用及其数学推导。从损失函数到最优权重的推导,强调了伪逆和奇异值分解在非满秩样本集中的应用。通过向量空间解释最小二乘法的总误差最小化思想,同时从概率视角考虑噪声服从高斯分布。最后,讨论了权重先验为高斯分布的最大后验估计。最小二乘法及其不同视角的应用和解释。原创 2024-01-17 13:12:02 · 834 阅读 · 0 评论 -
【西瓜书】1-绪论习题
若数据包含噪声,则假设空间中有可能不存在与所有训练样本都一致的假设。也就是说要求最多使用k个,可以先只使用k-1个,然后将k-1个的结果再加上单个范式组合起来,复杂度不超过。表1. 1 西瓜分类问题的假设空间, 试估算共有多少种可能的假设.与使用单个合取式来进行假设表示相比,使用"析合范式"将使得假设空间具有更强的表示能力。表1. 1 中若只包含编号为 1 和 4 的两个样例?这里笔者也给出自己写的题解,和部分网上答案不一致,不保证准确性。前面忘了,中间忘了,总之成立。表1.1的训练数据集对应的。原创 2024-01-15 16:08:20 · 1138 阅读 · 0 评论 -
【西瓜书】5-神经网络
逻辑运算是线性可分问题,如果俩类是线性可分的,那么存在一个线性超平面将他们分开,感知机可以通过修改权重和阈值学习到(这里我当成线性模型中的学习)。上图是一个能解决异或问题的二层感知机,这个感知机通过中间层的计算,对样本进行了升维操作,于是原本在二维下线性不可分的问题在三维空间下线性可分了。多层网络的学习能力比单层网络强得多,但是可能的权重和阈值的组合数也变多了,这时候需要更加强大的学习算法。局部最小并不一定是全局最小,可能我们的算法在梯度下降时陷在局部最小出不去,得到的结果就不是最优的。原创 2022-11-27 18:15:30 · 482 阅读 · 0 评论 -
【西瓜书】4-决策树
C4.5决策树解决ID3决策树的一个缺点,剪枝处理是避免模型过拟合的常用手段,常见的有预剪枝和后剪枝。原创 2022-11-24 14:07:18 · 2290 阅读 · 0 评论 -
【西瓜书】3-线性模型
假设正例有999个,但是反例只有一个,那么只需要将所有的例子都输出为正例行。但是我们其实更加看重那一个反例,而非另外的999个正例。意思就是将数据投影在低维度上,并且投影后同种类别数据的投影点尽可能的接近,不同类别数据的投影点的中心点尽可能的远。其含义是越靠近中心点的概率越高,越远离中心点的概率越低,但是函数预测的确定性越高。(2.2) 是回归任务中最常用的性能度量,因此我们可试图让均方误差。对于多个分类的问题,可以将多分类问题转化为多个二分类问题。越大,那么预测为蓝色的概率越高,反之越低。原创 2022-11-23 22:12:07 · 440 阅读 · 0 评论