我的深度学习小记录 （1）线性问题+基础优化算法

线性问题：

线性回归模型是深度学习中较为简单的一种模型也是最简单的神经网络（可看作单层神经网络）是一种有监督学习。找出特征矩阵与权值矩阵，通过加权和，设置偏置值，在预测问题中具有广泛的应用场景。

假设预测结果用来表示，特征矩阵用x来表示，权值矩阵用w来表示，则预测结果可表示如下：

由于我们很难找到一个样本使观测值很好地拟合每一个样本数据，所以我们需要寻找最好的模型参数，以期得到一个预测结果较好的模型。我们需要（1）一个能良好度量模型的工具（2）一种能更够更新模型，获得良好拟合效果的函数。

度量模型的工具：

MAE(Mean Absolute Error)平均绝对误差，越趋近于0，表示拟合程度越好。

MSE(即所谓的方差)

取值范围为[0,1]，值越接近1表示越拟合训练数据，RSS表示预测值和真实值之间的差异情况，TSS表示样本之间的差异情况。

模型性能的评估：

1.准确率：

2.查全率：

3.查准率：

线性回归的解可以用一个公式表示，这种解叫做解析解。解析解便于我们进行分析，但并不是所有的问题都有解析解。

基础优化算法：梯度下降法

挑选一个初始值，t=0，1，2...反复迭代

沿着梯度方向将增加损失函数的值，通常将凹函数变为凸函数。

（学习率）：步长的超参数

选择学习率时，不能太大，也不能太小。

如果太大，难以搜索到最优值；如果太小，浪费计算资源。

分为：随机梯度下降，小批量梯度下降，全局梯度下降。

Summary:

1.梯度下降不断通过沿着反梯度方向更新参数

2.通常，小批量梯度下降是深度学习默认的求解算法

3.两个重要的超参数是学习率和批量大小