2021 Yann LeCun 团队对模型泛化性能的插值和外推理论的探讨：Learning in High Dimension Always Amounts to Extrapolation

最新推荐文章于 2025-09-23 16:09:03 发布

BIT可达鸭

最新推荐文章于 2025-09-23 16:09:03 发布

阅读量961

点赞数

CC 4.0 BY-SA版权

分类专栏：多模态Vision+Language ▶ 深度学习-计算机视觉文章标签：机器学习人工智能神经网络泛化性

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_44936889/article/details/120884215

▶ 深度学习-计算机视觉同时被 2 个专栏收录

155 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

多模态Vision+Language

18 篇文章 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

研究发现，在高维数据集（>100维）上，深度学习模型几乎总是进行外推而非插值。传统的插值理论不再适用，插值概率随着维度增加而接近于0。实验表明，无论是真实数据还是嵌入空间，插值都是难以实现的，挑战了插值与泛化性能之间的传统认知。理论证明支持这一观点，揭示在高维空间中，需要指数级增加的数据量才能保持插值状态。

Learning in High Dimension Always Amounts to Extrapolation

论文地址：
主要工作：
研究背景：
具体实验：
- The Role of the Intrinsic, Ambient and Convex Hull Dimensions：
- Real Datasets and Embeddings are no Exception：
理论证明：

论文地址：

https://arxiv.org/abs/2110.09485

主要工作：

插值和外推（ interpolation and extrapolation）的概念是从深度学习到函数近似的各个领域的基础。当样本落在给定数据集凸包的边界内时，样本 $\boldsymbol{x}$ 就会发生插值。外推发生在 $\boldsymbol{x}$

了解本专栏

超级会员免费看

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

BIT可达鸭 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。