【深度学习初学笔记】李宏毅老师课程心得与笔记 一：回归Regression（一）——Regression的基本流程

前言

最近终于开始系统学习深度学习方面的知识了，打算用博客的形式把学习的笔记和一些个人的心得记录下来，以便日后回顾。

学习用的视频课程是著名的 宝可梦大师 李宏毅老师的机器学习，虽说是视频课题目是机器学习但是其中大部分内容讲述的其实属于深度学习的范畴，视频链接和目录翻译放在在下面：

链接

从回归开始

这个标题看起来似乎挺深奥的，但是真的就是字面意思，李宏毅老师的机器学习确实是从回归（Regression）开始的。

所谓Regression其实就是希望通过历史已知的两组数据来总结规律，然后运用这个规律来预测未知数据，这里的规律在数学中中也被称为模型（model），或者函数（function）。在现实中有很多使用Regression的例子，例如：通过测量一组弹簧长度与弹力大小之间的关系来预测弹簧在任意长度时的弹力大小；通过房屋平米数来估测房价；以及我以前做过的用飞机历史QAR数据预测任意飞行状态下的空速大小；李宏毅老师的例子则是通过抓到的宝可梦进化前后的CP值，预测一只新遇到的宝可梦进化后的CP值。

更抽象一点，通过坐标系中已知的若干点（历史数据）求得回归曲线（function），来预测某一输入x时的输出y值。

Regression的实现

在了解了什么是Regression之后，我们就要想办法实现它。其实实现Regression的总体思路非常简单，只有三个步骤（大多数的机器学习算法也无外乎这三个步骤）：

1. 建立函数集
2. 选择评估函数的方法
3. 找出最佳函数
   
   现在我们以一个具体例子来描述上述的三个步骤，假设现有一组已知数据为：
   
   通过这组已知数据，我们来求Regression回归模型，这个过程被称为训练，而这组用于训练的已知数据成为训练集（train set）。

Step 1 建立函数集

由于我们不知道这个Regression回归模型具体是什么样的，因此我们只能假设一组函数的集合（为了简便，这里先用最简单的一次函数）：

由于w，b都是未知的，因此上式并不是一个函数，而是一组函数的集合，接下来的任务就是找出w，b的具体值，也就确定了该回归模型的函数。

Step 2 选择评估函数的方法

显而易见，在上述集合中，并不是所有的函数都是最好的模型，其中必然有一个函数的预测误差很小，是我们想要的，但还有很多的函数预测误差非常大，需要舍弃。那么，怎么找出这个最好的函数呢。

于是在Step2中我们就要选择一种评估当前函数优良与否的方法。这个方法在机器学习中通常称为损失函数（loss function）：L(f)。

需要注意这个L(f)的自变量是Step1中的某个函数f，即L(f)是一个函数的函数。

既然L(f)被称为损失函数，那么他描述的便是某一个函数f(x)与目标值之间的差距。在实际中有许多方法可以用于衡量这种差距，在这里我们采用李宏毅老师在讲课中所使用的，也是机器学习中经常使用的方法：计算模型与目标间的平方和：

显然，由于不同的w，b决定了不同的函数f，选择一个好的模型实际上就是确定一组w，b的值，因此L(f)自然也是w，b的函数，及L(f)=L(w,b)。式中
代表参数为w，b的这个模型在第n个x时的预测值。

表示第n个x时已知训练集中实际的y真实值。

将训练集中1到N所有的数据的预测值与真实值之间差的平方都计算一遍再求和，变得到了损失函数L(f)，之所以这样计算的好处是，这种方法既简单快捷有可用平方运算消除正负差值的影响。

Step 3 找出最佳函数

现在我们已经假设了一组模型（即函数）集合，并且确定了一种用来衡量模型好坏的方法，损失函数L(f)，接下来便是利用损失函数L(f)找到最佳的一个模型，整个Regression便大功告成。找出最佳函数用数学语言描述为：

初次看到这个式子可能都会有的懵逼，这写的啥玩意儿啊

别慌，我们来简单介绍一下。式中：f代表最佳的目标函数，也就是我们要找的回归模型，arg则是自变量argument的缩写，min大家就都清楚了是取最小值的意思。所以这个表达式的含义就是，求出能使得L(f)最小的元素f的取值。换句话说就是使得损失函数最小的那个函数f的取值就是我们要找的最佳的目标f，而f*也就是我们求出来的Regression模型啦。

要确定f(x)，取决于w，b的取值，那么究竟如何取w，b，才能使得L(f)最小呢？
著名的梯度降低（Gradient Desent）又是什么呢？
当x的维度不止一维时又该怎么处理呢?
正则化又有什么作用呢？
以及这个Regression算法在实际的编程中该如何实现呢？

这些问题我们就在之后的篇章中慢慢讲述吧。

P.s 第一次写博文呀，本来是想在一篇文章中把有关Regression的内容都写完的，结果啰啰嗦嗦的写了这么多，也没说完，希望以后可以越写越有经验吧。