深度学习一：回归

回归定义：以输入的特征集为X,寻找函数f,预测输出的值（连续值）

流程：

（1）构建N个对象的特征集。特征集的选择有的时候是比较困难的，合适的特征集才能得到较好的结果。

（2）构建回归函数。回归函数可以是线性的、二次式的、三次式的或更高项。理论来讲，我们的回归函数越复杂在训练集上得到的效果就是越好的，但是其在测试集上可能会很差，所以这里其实有一个度。

（3）过拟合的问题解决，加入正则化。正则化即加入权重的函数(常数值*权重的平方和）。原理是权重的平方和越小，则y的变化越小，图像更加光滑。常数值越大，则正则化比重越大，可能loss的值会比较大。因此要选择合适的正则化参数。

（4）梯度下降。梯度下降的基本原来是求导，求取导数为0的点（loss最小的点）。