sloppy模型/sloppiness

最新推荐文章于 2024-09-06 10:38:06 发布

Twilight-pending

最新推荐文章于 2024-09-06 10:38:06 发布

阅读量997

点赞数 19

分类专栏：知识点算法/模型文章标签：算法几何学数学建模

本文链接：https://blog.csdn.net/weixin_45770491/article/details/140819589

版权

5 篇文章 0 订阅

订阅专栏

2 篇文章 0 订阅

订阅专栏

定义

sloppy模型或者sloppiness分析/算法：多参数的模型，其行为只取决于几个参数的严格组合，而参数的其它组合方式对模型预测来说并不重要。

Sloppy models are multiparameter models, whose behavior depends only on a few stiff combinations of parameters, with many sloppy parameter directions largely unimportant for model predictions.

许多复杂系统的工作状态似乎不会由于部分参数的改变而发生剧烈的变化（在生命科学、物理学和人工智能等领域中）。

对于复杂系统，能否在宏观层面上用较少的参数来捕捉其主要特征和秩序？

用宏观上的低自由度来描述高自由度的复杂系统，即只有少数自由度是关键的。

考虑参数空间（参数所构成的空间）与行为空间（变量所构成的空间）的关系

参数决定了行为，但同时进化又反过来通过选择行为确定了一些参数之间的约束
- 基因学：基因型genotype <–> 表型phenotype
- 深度学习：训练training <–> 性能/泛化 performance/generalization
一些参数的改变几乎不会影响动力学，称为Sloppy的参数
另外一些参数一旦扰动，动力学将发生巨大改变，敏感性的参数被称为Stiff的参数

为了定量描述参数的稳定性，引入了Fisher信息矩阵，它由参数的二阶导数构成，反映了概率分布的凹凸性
- 一个分布的凹凸性越大，表明其越不稳定，蕴含的信息量越大
- Stiff的维度往往远远小于系统的自由度数，这些方向上的扰动将严重影响系统的行为，在相应方向上概率分布函数的投影形状更尖锐，有更小的方差
- 对于大多数的Sloppy的维度，这些维度上参数的扰动对系统的影响较小，相应方向上概率分布函数的投影更宽扁、更大方差
为了进一步分析参数的分布特性，引入了Gini系数，一个衡量公平性的指标，也可以用来刻画Fisher信息矩阵的稀疏程度
- Gini系数越大，意味着Stiff参数越少，Sloppy参数越多