![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法及原理
文章平均质量分 92
Dragon水魅
苦逼程序猿攻城狮。
展开
-
机器学习算法原理——感知机
超平面:在几何空间中,如果环境空间中是nnn维,那么它所对应的超平面就是n−1n - 1n−1维的子空间。感知机必须要求数据集线性可分,因为算法的停止条件就是没有误分类点。对于所有误分类点到S\rm SS−1∥w∥∣w⋅x0b∣−∥w∥1∣w⋅x0b∣1∥w∥∥w∥1不影响损失函数的正负值判断,同时不影响感知机的分类结果,故在损失函数中不体现。梯度可以简单理解为对损失函数求偏导。原创 2023-03-01 21:25:02 · 508 阅读 · 1 评论 -
机器学习算法原理——k近邻 / KNN
较小的kkk值,学习的近似误差减小,但估计误差增大,敏感性增强,而且模型复杂,容易过拟合。较大的kkk值,减少学习的估计误差,但近似误差增大,而且模型简单。kkk的取值可通过交叉验证来选择,一般低于训练集样本量的平方根。分类决策规则使用 0-1 损失函数,因为分类问题只有分类正确和分类错误两种可能。kd 树构建时对于超平面的划分,二位空间划分为矩形,三维空间划分为长方体。构建完成的 kd 树,类似于二叉排序树,每一层代表着一个维度。kd 树的搜索,类似于二叉排序树的搜索过程。原创 2023-02-20 15:55:27 · 457 阅读 · 0 评论 -
机器学习算法原理——贝叶斯定理
贝叶斯定理中,分母的PXx∑i1KPXx∣Yci⋅PYciPXx∑i1KPXx∣Yci⋅PYci其实就是全概率公式。后验概率由先验概率和条件概率共同求得。先验概率和条件概率可以求得联合概率分布。(13)式中,LciyL(c_i, y)Lciy为 0 - 1 损失函数,若使fxf(x)fx。原创 2023-02-21 09:28:35 · 316 阅读 · 0 评论 -
机器学习算法原理——决策树
已知:训练集:T={(x1,y1),(x2,y2)⋅⋅⋅⋅,(xN,yN)}T=\{(x_{1},y_{1}),(x_{2},y_{2})\cdot\cdot\cdot\cdot,(x_{N},y_{N})\}T={(x1,y1),(x2,y2)⋅⋅⋅⋅,(xN,yN)}其中 xi=(xi(1),xi(2),⋯ ,xi(n))T, yi∈{1,2,⋯ ,K}, i=1,2,⋯ ,N;x_{i}=(x_{i}^{(1)},x_{i}^{(2)},\cdots,x_{i}^{(n)})^原创 2023-02-24 09:27:46 · 392 阅读 · 0 评论 -
机器学习算法原理——逻辑斯谛回归
逻辑斯谛回归归根结底是将分类问题用回归模型来解决。正态分布是在给定均值和方差的情况下具有最大熵的分布,这样的假设可以使得数据携带的信息量最大。通常在没有任何假设的情况下,连续型数据常被假设为正态分布,离散型数据常被假设为等概率分布。逻辑斯谛回归学习中通常采用的方法是梯度下降法及拟牛顿法。原创 2023-03-01 21:22:50 · 770 阅读 · 0 评论