回放地址
报告概述
Johannes Schmidt-Hieber(University of Twente) 本次报告的题目是Overparametrization and the Bias-Variance Dilemma,报告探讨的主要问题是bias-variance trade-off是否可以用现代机器学习over-parameterization来打破,因为在过去bias-variance trade-off是认为是通用的,适用于任何情况,但随着机器学习的发展以及double descent现象的发现,越来越多的研究者觉得bias-variance trade-off可以在一定程度上被打破。
Johannes 在他最近的工作中通过研究几种模型,从Gaussian white noise 到 high-dimensional,再到
L
2
−
L
o
s
s
L^{2}-Loss
L2−Loss,由简单到复杂,由低维到高维,通过计算这些模型的variance的下界以及数学分析,证明了bias-variance trade-off是universal的,即不能被打破。
最后Johannes做了总结: