网络模型的鲁棒性(结合实例)与提升鲁棒性的方法

网络模型的鲁棒性与提升鲁棒性的方法

1.定义:在统计学领域和机器学习领域,对异常值也能保持稳定、可靠的性质,称为鲁棒性。比如说,计算机软件在输入错误、磁盘故障、网络过载或有意攻击情况下,能否不死机、不崩溃,就是该软件的鲁棒性。所谓“鲁棒性”,是指控制系统在一定(结构,大小)的参数摄动下,维持某些性能的特性。有一个与鲁棒性很相似的概念叫模型的泛化能力。

泛化能力:generalization ability)是指机器学习算法对新鲜样本的适应能力,对具有同一规律的学习集以外的数据,经过训练的网络也能给出合适的输出,该能力称为泛化能力。

根据泛化能力好的网络设计的神经网络控制器的鲁棒性也会有所改善.泛化能力指对未知数据的预测能力;

2.我们先来看一组例子理解鲁棒性的表现:

例子1.

图,生成的对抗样本中的扰动对人类视觉来说不敏感,但是对于模型来说,原本以57.7%的概率被判成熊猫的图片在修改后以99.3%的概率被判成了长臂猿。则该系统的抗干扰性差,鲁棒性低。  

例子2.

                        

对于处于决策边界边缘的数据,只需要稍微在数值上增加一点点或减小一点点,所得到的结果就会截然不同。

例子3.

一味地追求精确度会降低系统鲁棒性。

3.影响鲁棒性的原因:

样本数据中含有噪音降低了数据质量。

样本中种类相似度较高,模型易混淆。

4.提升鲁棒性的方法:

(1)从数据上提升性能

收集更多的数据、产生更多的数据、对数据做缩放、对数据做变换、特征选择、重新定义问题

(2) 从算法上提升性能

算法的筛选、从文献中学习、重采样的方法

(3)从算法调优上提升性能

注意力机制(给与每个像素权重,来衡量像素间的相关性SPNet)、模型可诊断性、权重的初始化、学习率、激活函数、网络结构、batchepoch、正则项、优化目标、提早结束训练

(4) 用融合方法提升效果

模型融合、视角融合、stacking、多尺度融合(使用不同尺度的卷积核,增加模型的感受野,典型代表金字塔Deeplab系列)

(5)增加模型宽度

将通道分成多组,每组单独进行卷积,然后再将通道合成可以减少模型的参数,提高模型准确率,增加鲁棒性(ResNext)。

 

 

  • 16
    点赞
  • 94
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
图片鲁棒性是指在统计学领域和机器学习领域中,对于异常值也能保持稳定、可靠的性质。具体来说,当计算机软件在面对输入错误、磁盘故障、网络过载或有意攻击等情况时,能够不死机、不崩溃,保持正常运行的能力就是图片的鲁棒性。\[2\]在软件系统中,鲁棒性也被翻译为健壮性,它指的是系统在面对非法输入数据、软硬件单元故障以及未预料到的操作情况时,仍然能够正确运行的能力。例如,当机器死机时,具有鲁棒性的图片处理软件应该能够恢复死机前的编辑内容。\[3\]因此,图片鲁棒性是指图片在面对各种异常情况时能够保持正常运行和正确功能的能力。 #### 引用[.reference_title] - *1* *3* [为什么叫"鲁棒"图](https://blog.csdn.net/weixin_33744854/article/details/86374817)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [网络模型鲁棒性结合实例)与提升鲁棒性方法](https://blog.csdn.net/vicky_white/article/details/107213933)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值