BAAI 2020 北京智源大会 | Johannes Schmidt-Hieber | Overparametrization and the Bias-Variance Dilemma

Overparametrization and the Bias-Variance Dilemma

回放地址

2020北京智源大会 数理基础专题论坛

报告概述

Johannes Schmidt-Hieber(University of Twente) 本次报告的题目是Overparametrization and the Bias-Variance Dilemma,报告探讨的主要问题是bias-variance trade-off是否可以用现代机器学习over-parameterization来打破,因为在过去bias-variance trade-off是认为是通用的,适用于任何情况,但随着机器学习的发展以及double descent现象的发现,越来越多的研究者觉得bias-variance trade-off可以在一定程度上被打破。
Johannes 在他最近的工作中通过研究几种模型,从Gaussian white noise 到 high-dimensional,再到 L 2 − L o s s L^{2}-Loss L2Loss,由简单到复杂,由低维到高维,通过计算这些模型的variance的下界以及数学分析,证明了bias-variance trade-off是universal的,即不能被打破。
最后Johannes做了总结:
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值