神经网络的正向传播和反向传播
一、什么是神经网络
1. 神经元
2. 感知器
3. 神经网络
二、激活函数
1. 阶跃函数
阶跃函数以阈值为界,一旦输入超过阈值,就切换输出。在感知机中,使用了阶跃函数。
阶跃函数的数学表达式为:
(1) h ( x ) = { 0 ( x ≤ 0 ) 1 ( x > 0 ) \color{red} h(x)=\begin{cases} 0 &&(x\leq0)\\\\ 1 &&(x>0) \end{cases}\tag{1} h(x)=⎩⎪⎨⎪⎧01(x≤0)(x>0)(1)
2. sigmoid函数
Sigmoid输出的值介于0和1之间,这使其成为二元分类的一个非常好的选择。 如果输出小于0.5,则可以将其归类为0,如果输出大于0.5,则归类为1。 它也可以用tanh来完成,但是它不太方便,因为输出在-1和1之间。