sihuachun的博客

    \quad\;\;和普通的机器学习算法一样，DNN也会遇到过拟合的问题，需要考虑泛化，这里我们就对DNN的正则化方法做一个总结。1. DNN的L1&L2正则化    \quad\;\;想到正则化，我们首先想到的就是L1正则化和L2正则化。L1正则化和L2正则化原理类似，这里重点讲述DNN的L2正则化。    \quad\;\;而DNN的L2正则化通常的做法是只针对与线性系数矩阵WWW，而不针对偏倚系数bbb。利用我们之前的机器学习的知识，我们很容易可以写出DNN的L2正则化的损失函数。

    \quad\;\;在深度神经网络（DNN）反向传播算法(BP)中，我们对DNN的前向反向传播算法的使用做了总结。里面使用的损失函数是均方差，而激活函数是Sigmoid。实际上DNN可以使用的损失函数和激活函数不少。这些损失函数和激活函数如何选择呢？下面我们就对DNN损失函数和激活函数的选择做一个总结。1. 均方差损失函数+Sigmoid激活函数的问题    \quad\;\;在讲反向传播算法时，我们用均方差损失函数和Sigmoid激活函数做了实例，首先我们就来看看均方差+Sigmoid的组合有什

    \quad\;\;在深度神经网络（DNN）模型与前向传播算法中，我们对DNN的模型和前向传播算法做了总结，这里我们更进一步，对DNN的反向传播算法（Back Propagation，BP）做一个总结。1. DNN反向传播算法要解决的问题    \quad\;\; 在了解DNN的反向传播算法前，我们先要知道DNN反向传播算法要解决的问题，也就是说，什么时候我们需要这个反向传播算法？    \quad\;\; 回到我们监督学习的一般问题，假设我们有m个训练样本：{(x1，y1)，(x2，y2)，.

    \quad\;\;深度神经网络（Deep Neural Networks， 以下简称DNN）是深度学习的基础，而要理解DNN，首先我们要理解DNN模型，下面我们就对DNN的模型与前向传播算法做一个总结。1. 从感知机到神经网络    \quad\;\;在感知机原理小结中，我们介绍过感知机的模型，它是一个有若干输入和一个输出的模型，如下图:    \quad\;\;输出和输入之间学习到一个线性关系，得到中间输出结果：z=∑i=1mwixi+bz=\sum\limits_{i=1}^mw_ix