李宏毅深度学习笔记-P3&P4-回归

      第二部分的内容主要讲的是有监督学习（supervised learning）的任务之一：回归-regression，本篇主要介绍了如何通过梯度下降法（gradient descent）得到目标函数，并使用正则化（regularization）的方法解决训练数据过拟合（overfitting）的问题，对目标函数进行修正，从而在检验测试数据时得到更好的结果。

       回归（regression）是有监督学习的一种task，适合的场景有股票价格预测，自动驾驶和推荐系统等，本篇以神奇宝贝中的CP值预测为例，寻找进化前后CP值之间的关系，输入进化前的CP值和其他特征信息，计算出进化之后CP值。定义损失函数L由于评价模型的适合程度，损失函数即样例预测进化后的CP值与实际进化后的CP值之间的方差之和，方差之和越小，则目标函数约接近实际结果，因此该问题转化为求L的全局最小值，应用回归方法，从最简单的线性关系构造目标函数，y = kx+b，其中x为进化前的CP值，b为常数，y为进化之后的CP值，L的全局最小值处是切线斜率为0处，也即其微分为0处，此处我们使用梯度下降法来求解，梯度下降法会先选取一对初始值k0，b0，L先对k求偏导（此时b取b0），然后对k0左右各取值，再计算偏导数，如果k0左侧偏导数值更大则目标点在k0右边，需增加值，反之则目标点在k0左边，需减少值，假设k0调整后为k1，同理也可计算出b0的调整值b1，如此循环往复，直至微分值为0或者接近