【百面机器学习】L1和L2正则化---未解决贝叶斯先验

角度一:解空间形状

也是最常见的答案
为什么会转变为解空间问题呢?
KKT条件:“带正则项”和“带约束条件”是等价的。
为了约束w的可能取值空间从而防止过拟合, 我们为该最优化问题加上一个约束.
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

角度二:函数叠加

  • 原始目标函数曲线-棕色:最小值点在蓝色处,显然非0;
  • L1曲线-绿色曲线:最小值在红色处,为0;
  • L2曲线-黄色曲线:最小值在黄色处,非0;
    在这里插入图片描述
    L1:求导,原点左边递减,右边递增即可说明最小点在原点处。
    L ( w ) = l ( w ) + C ∣ w ∣ L(w) = l(w) + C|w| L(w)=l(w)+Cw求导, C ∣ w ∣ C|w| Cw在原点左边为-C,在原点右边为C,因此,只要原目标函数的导数小于C,那么带正则项的始终是递减的,在右边始终是递增的。最小值点自然在原点处。
    L2 :
    如果想让L2在原点处导数为0,那么原目标函数也必须在原点处导数为0。概率相对于L1大大减小。所以只有减小 w w w的功能。

角度三:贝叶斯先验

内容概要:本文档提供了三种神经网络控制器(NNPC、MRCNARMA-L2)在机器人手臂模型上性能比较的MATLAB实现代码及详细解释。首先初始化工作空间并设定仿真参数,包括仿真时间采样时间等。接着定义了机器人手臂的二阶动力学模型参数,并将其转换为离散时间系统。对于参考信号,可以选择方波或正弦波形式。然后分别实现了三种控制器的具体算法:MRC通过定义参考模型参数并训练神经网络来实现控制;NNPC利用预测模型神经网络并结合优化算法求解控制序列;NARMA-L2则通过两个神经网络分别建模fg函数,进而实现控制律。最后,对三种控制器进行了性能比较,包括计算均方根误差、最大误差、调节时间等指标,并绘制了响应曲线跟踪误差曲线。此外,还强调了机器人手臂模型参数的一致性参考信号设置的规范性,提出了常见问题的解决方案以及性能比较的标准化方法。 适合人群:具备一定编程基础,特别是熟悉MATLAB编程语言的研究人员或工程师,以及对神经网络控制理论有一定了解的技术人员。 使用场景及目标:①理解不同类型的神经网络控制器的工作原理;②掌握在MATLAB中实现这些控制器的方法;③学会如何设置合理的参考信号并保证模型参数的一致性;④能够根据具体的性能指标对比不同控制器的效果,从而选择最适合应用场景的控制器。 其他说明:本文档不仅提供了完整的实验代码,还对每个步骤进行了详细的注释,有助于读者更好地理解每段代码的功能。同时,针对可能出现的问题给出了相应的解决办法,确保实验结果的有效性可靠性。为了使性能比较更加公平合理,文档还介绍了标准化的测试流程评估标准,这对于进一步研究应用具有重要的指导意义。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值