transMaple的专栏

原创 【神经网络理论】泛化性

Understanding deep learning requires rethinking generalization (zhang. 2017)作者做了一个测试，用随机label标注数据，发现网络对训练集仍有效果，（网络具有强大的能力可以“记住”训练数据）梯度下降（SGD）具有隐性的正则化效果，原因未知浅层网络也能有强大的表达能力。模型本身已经足够去表达训练数据，即便没有正则化。...