以下是一个简单的例子,说明深度神经网络中的线性变换和激活函数的组合:
例子:单层神经网络
假设我们有一个单层神经网络,输入为 x,权重为 W,偏置为 b。
-
线性变换:
z=Wx+b
这里,zz 是线性变换的结果。
-
激活函数:
我们接着将 zz 输入到激活函数中,例如使用 ReLU 激活函数:a=f(z)=max(0,z)
这里,a 是经过激活函数处理后的输出。
整体过程:
将输入 x先经过线性变换,然后通过激活函数 f(⋅)处理,最终得到输出 a。在更深的网络中,这个过程会在多个层次上重复进行,每一层都有自己的线性变换和激活函数组合。
总结:
这个示例展示了深度网络中线性变换与激活函数是如何协同工作的,从而使得网络能够学习并表示复杂的特征。