神经网络学习-1

本周学习：

1. 回归

1.1.线性回归

1.2.softmax回归

1.3.损失函数r与求解方法

1.3.1.最小二乘法推导，迭代法求解

1.3.2.梯度下降法

2. 神经网络

2.1.BP神经网络结构和原理

2.1.1.正反向传播

2.1.2.权值正则化

2.2.神经网络优化器torch.optim

针对一般梯度法的优化

神经网络用简单非线性回归：

SGD由于固定下降率，下降最慢。

ASGD下降比SGD快，但也仅比SGD快。

RMSprop下降很快且无震荡，loss至1e-2数量级需要66次迭代

Adam在这个案例中表现不好，loss至1e-2需要52次迭代，且震荡比较明显