机器学习
惊雲浅谈天
这个作者很懒,什么都没留下…
展开
-
【机器学习】损失函数
在机器学习领域,我们令P(x)为预测集,Q(x)为真实数据集。对交叉熵求最小值,也等效于求最大似然估计。用于度量两个概率分布之间的差异性信息。原创 2024-01-28 20:25:14 · 492 阅读 · 0 评论 -
【机器学习】正则化
正则化是防止模型过拟合的方法,它通过对模型的权重进行约束来控制模型的复杂度。正则化在损失函数中引入模型复杂度指标,利用给W加权值,弱化了数据的噪声,一般不正则化b。原创 2024-01-28 20:20:54 · 823 阅读 · 0 评论 -
【机器学习】参数优化器
待优化参数w,损失函数loss,学习率lr,每次迭代一个batch。同时引入了SGDM的一阶动量和RMSPro的二阶动量。mt这个公式表示各时刻梯度方向的指数滑动平均值。二阶动量Vt是从开始到t时刻梯度平方的累计和。计算t时刻一阶动量mt和二阶动量Vt。二阶动量:与梯度平方相关的函数。在SGD的基础上增加了一阶动量。在SGD的基础上增加二阶动量。在SGD的基础上增加二阶动量。一阶梯度:与梯度相关的函数。一阶动量mt是当前的梯度。原创 2024-01-13 14:12:30 · 430 阅读 · 0 评论 -
【机器学习】激活函数整理
sigmoid函数连续、光滑、单调递增,以 (0,0.5) 中心对称,是一个良好的阈值函数。在x超出[-6,6]的范围后,函数值基本上没有变化,值非常接近,在应用中一般不考虑。sigmoid函数的值域范围限制在(0,1)之间,恰巧与概率值的范围相对应,这样Sigmoid函数就能与一个概率分布联系起来了。tanh函数的导数如下,当输入接近0时,tanh函数的导数接近最大值1,输入在任一方向上远离0点,导数越接近0。ReLU函数的求导表现很好:要么让参数消失,要么让参数通过。每一项的区间范围的(0,1)原创 2024-01-10 11:07:52 · 599 阅读 · 0 评论