L1不可导的时候该怎么办

最新推荐文章于 2022-05-30 16:56:46 发布
最新推荐文章于 2022-05-30 16:56:46 发布
阅读量1.7k 收藏 1
点赞数
文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34506762/article/details/103977030
版权

数据挖掘面试题集

1、面试题之L1不可导的时候该怎么办

当损失函数不可导，梯度下降不在有效，可以使用坐标轴下降法。梯度下降是沿着当前点的负梯度方向进行参数更新，而坐标轴下降法是沿着坐标轴的方法。假设有m个特征个数，坐标轴下降法进行参数更新的时候，先固定m-1个值，然后再求另外一个的局部最优解，从而避免损失函数不可导的问题。

数据挖掘爱好者_123
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
泛统计理论初探——常见损失函数初探
喷火龙与水箭龟的博客
05-22 483
数据挖掘-常见损失函数初探 常见损失函数简介 在之前的文章中，我们介绍过各种计算准确率的指标，在本文中我们将会介绍常见的损失函数并做出比较，讨论使用的场景和各个损失函数的优缺点。 首先我们来认识损失函数，常见的有监督数据挖掘问题无外乎两类，即分类问题和回归问题，即因变量是离散值或连续值。目标是寻找一种函数或者说是规则去最大程度的逼近或是预测原有的数据分布和结果，因此我们需要引入损失函数，损失函数是当前所有真实数据与预测结果的差值的汇总，即我们需要一个函数去体现预测效果，这个函数就是损失函数。而大多数有监督学
【面试】AI算法工程师---面试题！（第二部分：AI部分）
热门推荐
a_123456598的博客
07-29 3万+
深度学习
L1正则化在0处不可导时如何处理？
J~的博客
01-31 2787
1坐标轴下降法 设lasso回归的损失函数为： 其中，n为样本个数，m为特征个数。 由于lasso回归的损失函数是不可导的，所以梯度下降算法将不再有效，下面利用坐标轴下降法进行求解。 坐标轴下降法和梯度下降法具有同样的思想，都是沿着某个方向不断迭代，但是梯度下降法是沿着当前点的负梯度方向进行参数更新，而坐标轴下降法是沿着坐标轴的方向。 下面为具体的更新过程： （3）通过以...
L1不可导的时候怎么办？
qq_37089829的博客
09-23 330
当损失函数不可导,梯度下降不再有效,可以使用坐标轴下降法,梯度下降是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向,假设有m个特征个数,坐标轴下降法进参数更新的时候,先固定m-1个值,然后再求另外一个的局部最优解,从而避免损失函数不可导问题。 ...
数学基础
qq_26496077的博客
03-06 543
SGD,Momentum,Adagard,Adam原理 SGD为随机梯度下降,每一次迭代计算数据集的一个样本的梯度,然后对参数进行跟新。 Momentum参考了物理中动量的概念,前几次的梯度也会参与到当前的计算中,但是前几轮的梯度叠加在当前计算中会有一定的衰减。 Adagard在训练的过程中可以自动变更学习的速率,设置一个全局的学习率,而实际的学习率与以往的参数模和的开方成反比。 Adam利...
L1不可导怎么办—坐标下降算法
很吵请安静
07-24 2545
本文为学习 https://blog.csdn.net/u013802188/article/details/40476989/ 的笔记 带L1正则的损失函数，在求梯度时可能遇到不可求导的点，即非光滑的点，这时可以使用非梯度优化的方法比如坐标下降法。 坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行线性搜索（线性搜索是不需要求导数的），通过循环使用不同的坐标方法来达到目标函...
L1_L1正则化_
10-03
L1正则化在求解时通常会遇到非凸优化问题，因为绝对值函数不是处处可导的。因此，直接使用梯度下降法可能无法找到全局最优解。解决这个问题的一种常见方法是使用坐标下降法，逐个更新每个权重参数，每次只优化一个...
STM32L1xx_StdPeriph_Lib_V1.3.1.rar
08-22
STM32L1xx系列是意法半导体...总的来说，STM32L1xx_StdPeriph_Lib_V1.3.1是STM32L1xx系列微控制器开发不可或缺的一部分，它为开发者提供了便捷且功能强大的软件工具，使得嵌入式系统的设计变得更加简单。
论文研究 - EVI1介导的3T3-L1前脂肪细胞分化刺激是CtBP依赖的。
06-02
骨髓增生异常综合征1（MDS1）和嗜生性病毒整合位点1（EVI1）复合体（MECOM）基因座编码EVI1蛋白的多种同工型，对于正常的脊椎动物发育必不可少，如果表达不当，则在恶性肿瘤尤其是白血病中起重要作用。 但是，单个...
电导率温度补偿.ppt
09-26
对于高温环境下的电导率测量，由于离子运动加剧可能导致不规则行为，温度补偿可能需要分段处理。举例来说，CREATE DCK3900这类高温电导率仪可能采用不同的温度补偿策略。各厂家的技术差异可能会体现在如何设定和处理...
IRF7749L1 INFINEON 英飞凌芯片 中文版规格书.pdf
05-29
1. **电压等级（VDSS）**：该芯片的最大漏源电压为60V，意味着它可以承受60V的电压差而不发生击穿。 2. **导通电阻（RDS(on)）**：在10V的栅极-源极电压（VGS）下，典型值为1.1mΩ，最大值为1.5mΩ。这意味着在...
损失函数总结
Mzcc_bbms的博客
05-26 559
loss function目标检测回归损失函数L1 Loss (MAE)L2 Loss (MSE)Smooth L1 Loss 目标检测回归损失函数 L1 Loss (MAE) L1 Loss 也称为平均绝对值误差（MAE），是指模型预测值 f(x) 和真实值 y 之间绝对差值的平均值，公式如下： 优点：L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。对于离群点造成的惩罚是固定的，不会被放大。 缺点：MAE函数虽然连续，但是在0处不可导。而且MAE的导数为常数，所以在较小的损失值时，
MSE和MAE：两种损失函数的性质
人工智能曾小健
05-30 1373
两种损失函数的性质 异常值 MSE对异常值敏感，因为它的惩罚是平方的，所以异常值的loss会非常大。 MAE对异常之不敏感， 不妨设拟合函数为常数，那么MSE就相当于所有数据的均值（列出loss对c求导即可），而MAE相当于所有数据的中位数，所以会对异常值不敏感。 优化效率 MAE不可导而且所有的导数的绝对值都相同，优化时无法确定更新速度，MSE可导，有closed-form解，只需要令偏导数为0即可。 如何选择 如果想要检测异常值则使用MSE，如果想学习一个预测模型则建议使用MAE，或者先进
神经网络基础-----损失函数(持续更新中)
qq_28057379的博客
06-30 573
IoU Loss GIoU Loss DIoU Loss CIoU Loss
关于L1正则在某些点不可导说明
luoyexuge的专栏
03-17 4642
首先一个函数连续但是不一定可导，判断一个函数是否连续是在某个点左极限=右极限=改点的函数值，判断一个函数是否可导，左导数等于右导数，关于L1正则在0点不可导怎么解决这个问题，为什么在0点不可以导，这个问题从15年毕业到现在，面试过程也被问了，作为一名面试官也问了别人，看看吧：f(x)=|x| 在0处是连续的，但是不可导连续情况：f(x)=|x|lim(x→0-)|x|=lim(x→0-)(-x)=...
坐标轴下降法（解决L1正则化不可导的问题）
yMMxz的博客
04-06 9096
坐标轴下降法（解决L1正则化不可导的问题） 参考：http://www.cnblogs.com/pinard/p/6018889.html     设lasso回归的损失函数为：                           其中，n为样本个数，m为特征个数。     由于lasso回归的损失函数是不可导的，所以梯度下降算法将不再有效，下面利用
正则L1和L2，以及L1不可导的处理（Proximal Algorithm近端算法）
qq_18310041的博客
06-06 2934
L1正则化(lasso回归)是指权值向量w中各个元素的绝对值之和，通常表示为。L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 使用场景：输入特征的维度很高,而且是稀疏线性关系。 L2正则化(岭回归)是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为。L2正则化可以防止模型过拟合（overfitting）；一定程度...
L1正则化求导问题
学习笔记
01-27 1万+
L1正则化求导问题 在实现机器学习算法时，最常用的是L2正则化，因为L2正则化有连续可微的性质，易求导。但L1能产生稀疏解，而且稀疏解的泛化能力会比较好，不过由于L1正则化并不是处处连续的，所以优化的时候会有一定难度。 对于目标函数不是连续可微的情况，可以用次梯度来进行优化，但次梯度存在两个问题： 求解慢 通常不会产生稀疏解 次梯度定义：次梯度，次导数 此时可以用 Proximal ...
损失函数l1loss特性
最新发布
04-09
L1 Loss（也称为绝对值损失）是一种常用的损失函数，用于衡量预测值与真实值之间的差异。它的特性如下： 1. 计算方式：L1 Loss 是通过计算预测值与真实值之间的绝对差值来衡量的。具体计算公式为：L1 Loss = |预测值 - 真实值|。 2. 鲁棒性：L1 Loss 对异常值（离群点）具有较好的鲁棒性，即对于异常值的影响相对较小。这是因为绝对值函数在异常值处是可导的，而平方损失函数在异常值处是不可导的。 3. 不可导性：L1 Loss 在零点处不可导，这可能会导致在优化过程中出现问题。为了解决这个问题，可以使用次梯度（subgradient）来代替导数。 4. 稀疏性：L1 Loss 促使模型产生稀疏解，即使得一些特征的权重为零。这对于特征选择和模型解释性有一定的帮助。 5. 等价类：L1 Loss 在预测值与真实值相等时，有多个最优解。这是因为绝对值函数在零点处不可导，存在多个斜率相等的点。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值