传统神经网络

传统神经网络

1. 线性回归

梯度下降法

• 总结：
  随机初始化参数；
  开启循环：t = 0, 1, 2 …
  带入数据求出结果：$\hat y_{t}$
  与真值作比较得到：$loss = y-\hat y_{t}$
  对各个变量求导得到$\Delta m$
  $\Delta m = [x_{1,t},x_{2,t},x_{3,t},1]$
  更新变量$m$ :$m:=m-\eta\Delta m$
  如果 $loss 足够小或$t$循环结束，则停止

2. 线性到非线性

评价非线性激励的两个标准

• 正向对输入的调整
• 反向梯度损失

常用的非线性激励函数

• sigmoid函数
  

  $$y(x) = sigmoid(x)=\dfrac{1}{1+e^{-x}}\\ y(x)'=y(x)(1-y(x))$$
  
  
  由图可以知道，当导数最大时，$x=0$，此时$y(x)=0.5$, y(x