TASK2 线性回归总结

        线性回归，就是指变量与结果之间是线性关系。在深度学习中，结果值往往是由各个变量的加权和加上一个噪声构成的，噪声则是指由于外界的不确定因素对结果产生的影响值。

损失函数（loss function）：损失值代表预测结果与目标之间的差距，往往用非负数来表示（例如平方误差函数），通常数值越小表示损失越小，当损失为零时表示预测结果完全符合。

解析解（analytical solution）：能用公式表达出来的解（例如线性回归）就叫做解析解，但解析解限制过高导致在深度学习当中很少会用得到。

随机梯度下降：由于模型往往难以得出解析解，我们可以采用梯度下降的方法来得出近似解，例如可以计算损失函数关于模型参数的导数作为梯度进行迭代来逼近最优解。要注意的是，这个过程往往十分缓慢，因此我们可以每次计算时抽取少量杨门进行计算。

线性回归与神经网络的联系：在我看来，神经网络可以近似看作神经网络的一部分，只不过神经网络往往是多层嵌套含有大量隐藏层，而线性回归只有一层输出层。