qq_34152244的博客

先说结论，如果权重初始值设为0的话，将无法正确进行学习。这是因为在误差反向传播法中，所有的权重值都会进行相同的更新。比如，在2层神经网络中，假设第1层和第2层的权重为0。这样一来，正向传播时，因为输入层的权重为0，所以第2层的神经元全部会被传递相同的值。第2层的神经元中全部输入相同的值，这意味着反向传播时第2层的权重全部都会进行相同的更新。因此，权重被更新为相同的值，并拥有了对称的值(重复的值)...

有人说这曾经是一道面试题！我没说过这句话，但是感觉挺有道理 — 鲁迅▍什么是激活函数在神经元中，输入的inputs通过加权求和，然后被作用了一个函数，这个函数就是激活函数 Activation Function。激活函数在神经网络中的位置如图所示：▍为什么要用非线性函数要解释这个问题，可以反过来思考一下，为什么激活函数不能使用线性函数。如果使用线性函数，每一层输出都是上层输入的...

这里所说的“学习”是指从训练数据中自动获取最优权重参数的过程。学习的目的就是以该损失函数为基准，找出能使它的值达到最小的权重参数。可能会有人问：我们想获得的是能提高识别精度的参数，特意再导入一个损失函数不是有些重复劳动吗?既然我们的目标是获得使识别精度尽可能高的神经网络，那不是应该把识别精度作为指标吗?听起来很有道理！对于这一疑问，我们可以根据**“导数“**在神经网络学习中的作用来回答。 ...