wenzishou的专栏

原创 xaviar initializer deep learning 参数初始化

xavier initilizer解读本文原版对论文 Understanding the difficulty of training deep feedforward neural networks 的理解，不对之处，欢迎指正动机我们都知道，深度学习中的初始化好坏直接影响到模型的效果，包括使用pre-training, 也无非是为了给模型优化一个好的起点。最简单直接的方法当然是各种对参数进行随机，