- 博客(5)
- 收藏
- 关注
RSS订阅原创 吃瓜教程第六章学习笔记
所以损失函数要使得满足约束条件时，损失为0，当不满足约束条件时损失不为0，（可选）当不满足约束条件时，损失与其违反约束条件的程度成正比。先比于线性回归用一条线来拟合训练样本，支持向量回归而是采用一个以线为中心，有一定宽度的间隔带，来拟合训练样本，结合软间隔的原理，进行损失函数的构造。从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，向比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。先将原问题转化为对偶函数的形式，且其恒为凹函数，此时其函数构成了原问题最优值的下届。
2023-09-28 22:28:44
40
原创 吃瓜教程第五章学习笔记
当输入特征足够多，神经网络足够大，神经网络可以自动发现有用的特征，并通过梯度下降或其他方法走到局部极小值点，从而向自动数据分析的目标前进。可以处理线性不可分割的数据集，通用近似定理：只需一个包含足够多神经元的隐层，多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数。M-P神经元（一个用来模拟生物欣慰的数学模型）：接受n个输入，并给各个输入赋予权重计算加权和，然后和自身特有的阈值。单个M-P神经元，激活函数为sgn（阶跃函数）的神经元。神经网络的结构该如何设计才最合理。神经网络的输出结果该如何解释。
2023-09-26 19:39:21
46
1
原创 吃瓜教程第四章学习笔记
通过信息熵的理念，计算出条件熵，将样本数量抽象成样本概率，从而使得得出的信息熵乘以样本占比抽象为揭示样本纯度的条件熵。将原样本集合的纯度减去分割后所有样本的纯度和，得到纯度提升。在ID3决策树的基础上，发现分算法会使得每个趋势里面样本量太少的偏好，为修复此bug，将目标函数除以固有值，防止可能取值个数太少。采取基尼值（从样本合集中随机抽取两个样本，其类别标记不一致的概率）乘以样本占比，构成最小化目标函数。为防止以上情况，采用启发式决策：先选出信息增益高于平均水平的属性，然后再从中选择增益率最高的。
2023-09-22 17:22:22
50
原创 吃瓜教程第三章学习笔记
可证明目标函数为凸函数，整个问题为凸优化问题，根据一元函数的模型，结合最小二乘法或者极大似然估计的方法得出评价标准最为策略，使用牛顿法，梯度下降法等作为策略得到最终的结果。通过算法原理得到损失函数后，将其和约束转化为拉格朗日形式，使其约束项为0，一阶偏导数为0，从而得出最终结果。算法原理：希望全体训练样本经过投影后，异类样本的中心尽可能远，同类样本的方差尽可能小。从而计算出总体概率，通过最大化此函数，也就是最小化其相反数，得到最终结果。通过最小化每个样本理想分布与估计分布之间的KL散度得到最终结果。
2023-09-20 23:30:36
53
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人