深度学习优化函数详解（0）-- 线性回归问题

深度学习优化函数详解系列目录

深度学习优化函数详解（0）– 线性回归问题
深度学习优化函数详解（1）– Gradient Descent 梯度下降法
深度学习优化函数详解（2）– SGD 随机梯度下降
深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降
深度学习优化函数详解（4）– momentum 动量法
深度学习优化函数详解（5）– Nesterov accelerated gradient (NAG)
深度学习优化函数详解（6）– adagrad
深度学习优化函数详解（7）– adadelta
深度学习优化函数详解（8）– adam

后面两篇文章代码已经写完了，文章一直懒得写，等有空再补上吧。。。
本系列的全部代码在这里：https://github.com/tsycnh/mlbasic 喜欢的同学记得给个star哦～

序

在做一些深度学习的算法的时候，都会用到优化函数，在各种成熟的框架中，基本就是一行代码的事，甚至连默认参数都给你设置好了，基本不用动什么东西，最后也会有比较好的优化结果。但是对于优化函数这么核心，这么基本的东西总是模棱两可实在不应该。于是想自己把一些常用的优化函数从原理上搞清楚，所以才有了这个系列的文章。每一篇文章都有配套的python代码，文末会给出地址。

线性回归问题（Linear Regression）

假设我们有一组数据，是一些房子的面积和价格。如下

面积	30	35	37	59	70	76	88	100
价格	1100	1423	1377	1800	2304	2588	3495	4839

用这些数据我们可以在坐标系中绘制出一系列散点

我们所想要解决的问题，就是给出任意的一个面积，预测对应的房价。 所以这是一个预测问题。也就是回归问题。
这里我们用最简单的线形模型来做房价预测。那么这个问题也可以称之为线性回归问题。

线形模型简单来说就是直角坐标系中的一根线，用

$$y=ax+b$$ 表示。这里 $a$ 和 $b$ 就是我们要优化的参数。换句话说，我们要通过接下来写的一套算法，找到最优的 $a$ 和 $b$ 。很明显，人眼来看上面的图，直接可以画出一条斜线，但对于机器来说，这个事就有点困难了。假设我们先给定一组参数