L1不可导的时候该怎么办

最新推荐文章于 2022-05-26 12:23:38 发布
最新推荐文章于 2022-05-26 12:23:38 发布
阅读量1.7k 收藏 1
点赞数
文章标签： 机器学习 数据挖掘
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34506762/article/details/103977030
版权

数据挖掘面试题集

1、面试题之L1不可导的时候该怎么办

当损失函数不可导，梯度下降不在有效，可以使用坐标轴下降法。梯度下降是沿着当前点的负梯度方向进行参数更新，而坐标轴下降法是沿着坐标轴的方法。假设有m个特征个数，坐标轴下降法进行参数更新的时候，先固定m-1个值，然后再求另外一个的局部最优解，从而避免损失函数不可导的问题。

正则L1和L2，以及L1不可导的处理（Proximal Algorithm近端算法）
qq_18310041的博客
06-06 3027
L1正则化(lasso回归)是指权值向量w中各个元素的绝对值之和，通常表示为。L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择。 使用场景：输入特征的维度很高,而且是稀疏线性关系。 L2正则化(岭回归)是指权值向量w中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为。L2正则化可以防止模型过拟合（overfitting）；一定程度...
神经网络反向求导不可导情况处理
weixin_42720875的博客
05-05 3307
神经网络反向求导不可导情况处理激活函数不可导池化不可导针对平均池化：max池化 激活函数不可导 深度学习算法通常需要进行反向求导，来更新模型的参数，这就要求激活函数满足处处可导的性质，例如传统的sigmoid函数等。但是，为了解决梯度消失等问题提出的relu系列函数却不满足处处可导性质。 relu(x)=max(x,0) relu(x)=max(x,0) relu(x)=max(x,0) 针对这...
L1不可导的时候怎么办？
qq_37089829的博客
09-23 357
当损失函数不可导,梯度下降不再有效,可以使用坐标轴下降法,梯度下降是沿着当前点的负梯度方向进行参数更新,而坐标轴下降法是沿着坐标轴的方向,假设有m个特征个数,坐标轴下降法进参数更新的时候,先固定m-1个值,然后再求另外一个的局部最优解,从而避免损失函数不可导问题。 ...
L1不可导怎么办—坐标下降算法
很吵请安静
07-24 2616
本文为学习 https://blog.csdn.net/u013802188/article/details/40476989/ 的笔记 带L1正则的损失函数，在求梯度时可能遇到不可求导的点，即非光滑的点，这时可以使用非梯度优化的方法比如坐标下降法。 坐标下降法属于一种非梯度优化的方法，它在每步迭代中沿一个坐标的方向进行线性搜索（线性搜索是不需要求导数的），通过循环使用不同的坐标方法来达到目标函...
L1不可导怎么处理
qq_33761777的博客
11-09 192
坐标轴下降
L1正则化在0处不可导时如何处理？
J~的博客
01-31 2922
1坐标轴下降法 设lasso回归的损失函数为： 其中，n为样本个数，m为特征个数。 由于lasso回归的损失函数是不可导的，所以梯度下降算法将不再有效，下面利用坐标轴下降法进行求解。 坐标轴下降法和梯度下降法具有同样的思想，都是沿着某个方向不断迭代，但是梯度下降法是沿着当前点的负梯度方向进行参数更新，而坐标轴下降法是沿着坐标轴的方向。 下面为具体的更新过程： （3）通过以...
L1_L1正则化_
10-03
L1正则化在求解时通常会遇到非凸优化问题，因为绝对值函数不是处处可导的。因此，直接使用梯度下降法可能无法找到全局最优解。解决这个问题的一种常见方法是使用坐标下降法，逐个更新每个权重参数，每次只优化一个...
二元函数可导与可微的关系_二元函数可导、可微与连续性的关系.pdf
weixin_35671421的博客
12-30 3157
二元函数可导、可微与连续性的关系.pdf专 题 研 究t~-I。 啦—～ 一一～…… … l1． TI 醣雾… ，l●二元函数可导、可微与连续胜昀关系◎毛 海勤 (杭 州师范大学钱 江学院 310012)【摘要】本文提出的是基于我们所学的关于二元函数导 二、可导性、可微性与连续性之 间的关 系数和微分 、...
机器学习中正则化项L1和L2的直观理解
热门推荐
小平子的专栏
03-02 42万+
正则化（Regularization） 机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1ℓ1\ell_1-norm和ℓ2ℓ2\ell_2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。 L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做...
关于L1正则在某些点不可导说明
luoyexuge的专栏
03-17 4710
首先一个函数连续但是不一定可导，判断一个函数是否连续是在某个点左极限=右极限=改点的函数值，判断一个函数是否可导，左导数等于右导数，关于L1正则在0点不可导怎么解决这个问题，为什么在0点不可以导，这个问题从15年毕业到现在，面试过程也被问了，作为一名面试官也问了别人，看看吧：f(x)=|x| 在0处是连续的，但是不可导连续情况：f(x)=|x|lim(x→0-)|x|=lim(x→0-)(-x)=...
神经网络基础-----损失函数(持续更新中)
qq_28057379的博客
06-30 738
IoU Loss GIoU Loss DIoU Loss CIoU Loss
【面试】AI算法工程师---面试题！（第二部分：AI部分）
a_123456598的博客
07-29 4万+
深度学习
数学基础
qq_26496077的博客
03-06 585
SGD,Momentum,Adagard,Adam原理 SGD为随机梯度下降,每一次迭代计算数据集的一个样本的梯度,然后对参数进行跟新。 Momentum参考了物理中动量的概念,前几次的梯度也会参与到当前的计算中,但是前几轮的梯度叠加在当前计算中会有一定的衰减。 Adagard在训练的过程中可以自动变更学习的速率,设置一个全局的学习率,而实际的学习率与以往的参数模和的开方成反比。 Adam利...
损失函数总结
Mzcc_bbms的博客
05-26 668
loss function目标检测回归损失函数L1 Loss (MAE)L2 Loss (MSE)Smooth L1 Loss 目标检测回归损失函数 L1 Loss (MAE) L1 Loss 也称为平均绝对值误差（MAE），是指模型预测值 f(x) 和真实值 y 之间绝对差值的平均值，公式如下： 优点：L1损失函数的导数是常量，有着稳定的梯度，所以不会有梯度爆炸的问题。对于离群点造成的惩罚是固定的，不会被放大。 缺点：MAE函数虽然连续，但是在0处不可导。而且MAE的导数为常数，所以在较小的损失值时，
L1和L2 复习问题
None_Pan的博客
06-07 1024
LR LR推导（伯努利过程，极大似然，损失函数，梯度下降）有没有最优解？ LR可以用核么？可以怎么用？l1和l2正则项是啥？lr加l1还是l2好？加哪个可以用核（加l2正则项，和svm类似，加l2正则项可以用核方便处理） LR可以用来处理非线性问题么？（还是lr啊 只不过是加了核的lr 这里加核是显式地把特征映射到高维 然后再做lr）怎么做？可以像SVM那样么？为什么？ 为什么LR需要归一化或者取对数，为什么LR把特征离散化后效果更好，为什么把特征组合之后还能提升，反正这些基本都是增强了特征的表达能力，或者
L1和L2正则化原理详解（图重要）
qq_43703185的博客
05-17 3632
原文链接：https://blog.csdn.net/yimingsilence/article/details/82027474 正则化 是指在优化目标函数或代价函数是，在目标函数后面加上一个正则项。正则项通常有L1正则项和L2正则项。 1. L1正则  L1正则是基于L1范数和项，即参数的
机器学习经典损失函数比较
Leo_Xu06的博客
01-09 8205
经典损失函数比较
损失函数（loss function）
EmilyHoward的博客
06-30 1万+
这里写目录标题1、什么是损失函数2、为什么要使用损失函数3、损失函数分类1、分类一2、分类二3、分类三3.1基于距离度量的损失函数3.1.1 均方误差损失函数（MSE）3.1.2 L2损失函数3.1.3 L1损失函数3.1.4 Smooth L1损失函数3.1.5 huber损失函数3.2 基于概率分布度量的损失函数3.2.1 KL散度函数（相对熵）3.2.2 交叉熵损失3.2.3 softmax损失函数3.2.4 Focal loss4. 如何选择损失函数？ 1、什么是损失函数 损失函数用来评价模型的预测
损失函数
夏日山间过
09-11 1124
参考： １ focal loss focal loss就是一个解决分类问题中类别不平衡、分类难度差异的一个loss。 在NLP中也存在大量类别不平衡的任务：序列标注任务中类别是严重不平衡的。在命名实体识别中，一句话里实体是比非实体要少得多，这就是类别严重不平衡的情况。 二分类问题的标准loss是交叉熵 y∈{0,1} 是真实标签，ŷ 是预测值。 二分类几乎都用sigmoid激活函数 ŷ =...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值