深度学习笔记：理解神经网络的工作原理-CSDN博客

本文链接：https://blog.csdn.net/m0_45267220/article/details/128594664

最近正在学习吴孟达老师的深度学习，这一篇文章用来记录一下神经网络的相关知识点~

包括神经网络的理解和神经网络是如何工作的。

理解神经网络

用以下的图片理解神经网络：

图中第一层是输入层，其中的x1,x2,x3是输入样本的特征，比如音乐数据样本的音乐名、演唱者名等等。

第二层是隐藏层，神经网络的关键，隐藏层一般有很多层，即深层神经网络，图中只画了一层的神隐藏层

之所以采用深层神经网络是因为神经网络通常会被用于处理图像或音视频这类较为复杂的数据，针对这些数据，需要用多层的神经网络来学习。一般前几层学习一些局部的特征信息，后几层将局部信息整合来探索更加复杂的信息。这也是神经网络流行的原因之一。

以图中的一层隐藏层为例，图中的5,6,7,8均是同一层的单独神经元。神经元简单理解就是函数，给定相应的输入，通过神经元计算出相应的输出。一般神经元包括两个部分，一个线性函数和一个激活函数，如下图所示：

以一个神经元为例，w,b是神经元的参数（即训练过程中需要通过学习，不断调整的参数）。

神经元左边是对输入X=[x1,x2,x3]进行线性运算，得到向量z1。其中w是一个向量，对样本的不同特征进行加权，最后再加上偏置b，就完成了线性运算。

神经元右边是激活函数，图中展示的是δ(z)，即sigmod激活函数，sigmod函数为： $\delta \left ( z \right )= \frac{1}{1+e^{-z}}$ ，sigmod函数将输出范围固定在（0,1）之间，适合做二分类问题。常用的激活函数还包括了tanh、ReLU、leaky RelU。关于激活函数我会在另一个文章中详细解释一下。在这里我们需要知道的是激活函数是非线性函数，发挥隐藏层的作用，避免神经网络的输出是对输入的线性组合。