传统神经网络
1. 线性回归
梯度下降法
- 总结:
随机初始化参数;
开启循环:t = 0, 1, 2 …
带入数据求出结果: y^t
与真值作比较得到: loss=y−y^t
对各个变量求导得到 Δm
Δm=[x1,t,x2,t,x3,t,1]
更新变量 m :m:=m−ηΔm
如果 loss足够小或 t$循环结束,则停止
2. 线性到非线性
评价非线性激励的两个标准
- 正向对输入的调整
- 反向梯度损失
常用的非线性激励函数
sigmoid函数
y(x)=sigmoid(x)=11+e−xy(x)′=y(x)(1−y(x))
由图可以知道,当导数最大时, x=0 ,此时 y(x)=0.5 , y(x