深度学习最佳实践系列——权重w初始化

作为深度学习的初学者，我有意识到的一件事情，即网络上没有太多的在线文档能够涵盖所有深层次的学习技巧。都是一些比较零碎的实践技巧，比如权重初始化、正则化及循环学习率等，这些可以使得训练和调试神经网络变得更容易和更高效。本系列博客内容将尽可能多地介绍一些实践细节，以便你更容易实现深度学习方法。
       在撰写本文时，假定读者已经对如何训练神经网络有着一个基本的理解。理解权重（weight）、偏置（bias）、隐藏层（hidden layer）、激活函数（activation function）等内容将使你看本篇文章会更加清晰。如果你想建立一个深度学习的基础， 推荐这门课程 。

       注明：本文提到神经网络的层时，表示的是一个简单的神经网络层，即全连接层。当然，本文所讲解的一些方法也适用于卷积和循环神经网络。在本文中，将讨论与权重矩阵初始化相关的问题以及如何减轻它们的方法。在此之前，先介绍一些将要使用的基本知识和符号。

>>>阅读全文