【深度学习系列（二）】：基于c++实现一个简单的神经网络（3）

最新推荐文章于 2024-09-27 15:51:01 发布

wxplol

最新推荐文章于 2024-09-27 15:51:01 发布

阅读量1.9k

点赞数 2

分类专栏：深度学习

本文链接：https://blog.csdn.net/wxplol/article/details/86741643

版权

深度学习专栏收录该内容

27 篇文章 17 订阅

订阅专栏

3、前向和反向传播

1. 单个神经元的前向和反向计算

众所周知，神经网络是由一系列的神经元组成，那具体长什么样呢？可以看下面的图。

所以，对于一个神经元来说，其前向计算公式如下：

$y=f(\sum_{i=1}^{n}\left ( w*x_{i}^{} \right )+b)$

其中： f(x) 为神经网络的激励函数。

为什么要使用激励函数呢？

激活函数是用来加入非线性因素的，增加线性模型的非线性表达能力。

如果没有激活函数，那么我们最终得到只是一系列直线/平面包围的学习区域，如下图：

最终得到的结果还是线性的, 最多不过是复杂的线性组合罢了，当然你可以说我们可以用无限条直线去逼近一条曲线。

但是如果加入激活函数，如sigmoid函数，这是一个不折不扣的非线性函数，如下图。最终我们得到的就是一个非线性的线\曲面。

既然知道了激活函数的好处，那么我们常用的激活函数有哪些呢？这里就不一一列举了，有兴趣的可以查看第一个参考链接中的常见激励函数介绍。在本程序中我们主要使用relu激活函数，该函数的公式为： f(x)=max(0,x) ,其具体形状如下：

这里，我们用c++实现了相关函数：

void NN::relu(Mat &X)
{
	//生成大于零的模板并归一化
	Mat mask = (X > 0) / 255;

	//将矩阵转化为float类型
	Mat mask2f;
	mask.convertTo(mask2f, CV_32FC1);

	//relu计算输出
	multiply(X, mask2f, X);
}

参考链接：

深度学习中常用的激励函数

【机器学习】神经网络-激活函数-面面观(Activation Function)

神经网络激励函数的作用是什么

这时我们很容易得到单个神经元的梯度，通过分别对w，b求导得到如下公式：

令： y=f(z) ， $z= \sum_{n}^{i=1}w_{i}x_{i}+b$ ，则：

$\frac{\partial y}{\partial w}=\frac{\partial y}{\partial z}\frac{\partial z}{\partial w}$

$\frac{\partial y}{\partial b}=\frac{\partial y}{\partial z}\frac{\partial z}{\partial b}$

其中： $\frac{\partial y}{\partial z}=\left\{\begin{matrix} 1 & y>0\\ 0& y<0 \end{matrix}\right.$ ， $\frac{\partial z}{\partial w}=x$ ， $\frac{\partial z}{\partial b}=1$ ，根据链式法则，最终得到单个神经元得反向传播得计算公式如下：