一、激活方法(Activation Functions)
给定一个或者一组输入的节点的输出
1.ReLU
2. Sigmoid/Logistic
3.Binary
4.Tanh
5.Softplus
6.softmax
7.Maxout
8.Leaky ReLU, PReLU, RReLU, ELU, SELU, and others.
二、反向传播(Backpropagation)
1.这是一种用于人造神经网络的方法,用于计算一批数据后每个神经元的误差贡献。 它计算损失函数的梯度,通常用于梯度体系优化算法。它也被称为错误的反向传播,因为在输出处计算错误并通过网络层分发。
采用4维向量表示的神经网络。
2.在这种方法中,重新计算了较低层较高层的偏导数,以提高效率。
3.intuition for backpropagation
3.1 example(Circuits)
3.2 example(Flowgraphs)
三、学习率(Learning Rate)
神经网络通常通过权重的梯度下降训练。 这意味着在每个迭代中,使用反向传播来计算相对于每个权重的损失函数的导数,并从该权重中减去它。然而,如果真的尝试了,权重将会变化太多,每次迭代,这将使他们“过度纠正”,损失实际上会增加或偏离。 所以在实践中,通常将每个导数乘以一个称为“学习率”的小值,然后将其从相应的权重中减去。
最简单的方法:保持不变/固定,所有参数一样
通过允许学习率减少选项来获得更好的结果
1.当验证错误停止改进时减少0.5;
2.由于理论收敛保证,O(1 / t)减少,超参数X和X和X是迭代数;
3.使用AdaGrad非人工设置学习率;
特别说明:本文为本人学习所做笔记。
具体参考:http://download.csdn.net/download/qq_33801763/9953339