深度学习基础（一）神经网络

最新推荐文章于 2022-09-07 13:25:35 发布

luxialan

最新推荐文章于 2022-09-07 13:25:35 发布

阅读量683

点赞数

分类专栏：深度学习

本文链接：https://blog.csdn.net/luxialan/article/details/42882585

版权

深度学习专栏收录该内容

7 篇文章 1 订阅

订阅专栏

由生物学基础我们知道，神经网络是有无数个神经元和连接这些神经元的突触构成的，某个神经元接受一系列的电信号刺激，当这个刺激达到一定的阀值后，这个神经元就被激活，通过突触将某些信息传递给下一个神经元。每个神经元可以看成是一个激活函数(activation function)，输入值为强度大小不同的电刺激，输出值为传递给下一个神经元的刺激。

我们先来看神经网络最简单的形式，神经元。

输入：

$x 1, x 2, x 3 和 +1$

输出：

$\textstyle h_{W,b}(x) = f(W^Tx) = f(\sum_{i=1}^3 W_{i}x_i +b)$

最常见的激活函数形式有：

$f(z) = \frac{1}{1+\exp(-z)}.$

Sigmoid activation function.

$f(z) = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}},$

Tanh activation function.

神经网络由多个神经元组成：

为了方便表示，我们定义一些符号：

$n l：$ 神经网络的层数 $L l$ 为输入层 $L_{n_l}$ 为输出层

$W^{(l)}_{ij}$ ：是第l层的第j个单元与第l+1层的第i个单元之间的参数

$a^{(l)}_i$ ：表示的是第l层的第i个单元被激活（激活函数的输出值） l=1时候代表输入值x

$z^{(l)}_i$ ：表示的是第l层的第i个单元的所有输入值

$\textstyle z_i^{(2)} = \sum_{j=1}^n W^{(1)}_{ij} x_j + b^{(1)}_i$

$a^{(l)}_i = f(z^{(l)}_i)$ .

于是我们有：

$\begin{align}a_1^{(2)} &= f(W_{11}^{(1)}x_1 + W_{12}^{(1)} x_2 + W_{13}^{(1)} x_3 + b_1^{(1)}) \\a_2^{(2)} &= f(W_{21}^{(1)}x_1 + W_{22}^{(1)} x_2 + W_{23}^{(1)} x_3 + b_2^{(1)}) \\a_3^{(2)} &= f(W_{31}^{(1)}x_1 + W_{32}^{(1)} x_2 + W_{33}^{(1)} x_3 + b_3^{(1)}) \\h_{W,b}(x) &= a_1^{(3)} = f(W_{11}^{(2)}a_1^{(2)} + W_{12}^{(2)} a_2^{(2)} + W_{13}^{(2)} a_3^{(2)} + b_1^{(2)}) \end{align}$

将z向量化表示后：

$\begin{align}z^{(2)} &= W^{(1)} x + b^{(1)} \\a^{(2)} &= f(z^{(2)}) \\z^{(3)} &= W^{(2)} a^{(2)} + b^{(2)} \\h_{W,b}(x) &= a^{(3)} = f(z^{(3)})\end{align}$