不知道是谁的博客

分别转载自不同的博客：之一：在机器学习中，常常会出现overfitting，网络权值越大往往overfitting的程度越高，因此，为了避免出现overfitting,会给误差函数添加一个惩罚项，常用的惩罚项是所有权重的平方乘以一个衰减常量之和。右边项即用来惩罚大权值。权值衰减惩罚项使得权值收敛到较小的绝对值，而惩罚大的权值。从而避免overfitting的出现

local response normalization先上公式，local response normalization (lrn) 是用于数据归一化的方法。Tensorflow 中对应 tf.nn.local_response_normalization.假设输入是 [batch_size, height, width, channels], 那么lrn实际上是对某一个像素

先上公式，交叉熵定义p(x) 是真正的概率分布, q(x) 是估计的概率分布. 这个评价准则是用来测量 q(x) 与 p(x)的相似程度. 在信息论里证明, 当q(x)=p(x)时, H(p,q) 达到最小值.在 Tensorflow 中, 对于某一特定图像， p(x) 是 one-hot vector ([0 0 0 1 0 0 0]), q(x) 是 softmax 层的输出.

Use the following loss function as an example:The parameter updating function should be:1. Batch GDIn the above function, m is the size of the whole batch, it updates parameters on the w

The validation data set is a set of data for the function you want to learn, which you are not directly using to train the network. You are training the network with a set of data which you call the t