鲁棒性
鲁棒性:对于输入扰动或对抗样本的性能。
- 加入小扰动,或进行数据增强。对于我们正常使用的模型,或者小数据集,需要进行数据增强,增强模型的鲁棒性,并且可以提升模型泛化能力,即在测试集上的性能。
- 加入对抗样本训练。针对模型的安全,而找到对抗样本进行专门训练,提升模型在对抗样本的鲁棒性;但是会降低模型的泛化能力,在真实的测试集上性能下降。
鲁棒性强调网络结构本身的特征,是网络结构和参数在扰动下保持其对信号处理特征的能力,用司机来举例,鲁棒性是司机只用一只手或者旁边有人骚扰情况下开车的能力。
泛化性
泛化性:训练集训练的模型在测试集上的性能;不同数据集之间、不同任务之间模型的泛化能力。
- 加入小扰动:一般模型都是欠鲁棒性,数据增强可以提高鲁棒和泛化性;也就是欠鲁棒,泛化能力会低,提升鲁棒性可以提升泛化。
- 加入对抗样本训练:使得模型过于鲁棒,对攻击样本效果好,提升模型安全。但是在测试集上性能会下降,泛化能力差。也就是模型过于鲁棒的话,泛化性能也差。
泛化性强调的是网络对数据的处理性能,是强调从部分抽样的数据能能否提取数据分布的结构特征,同样用司机来举例,泛化性是司机开车行驶在不同道路的能力。