Regression

//李宏毅视频官网：http://speech.ee.ntu.edu.tw/~tlkagk/courses.html                                                    点击此处返回总目录 //邱锡鹏《神经网络与深度学习》官网：https://nndl.github.io       今天主要讲的是Regression。会通过一个例子讲Regression是怎么用的，顺便引出Machine Learning里面的一些重要概念。 ------------------------------------------------------------------------------------------------------------------------------- 首先，Regression可以做什么？除了作业里面的可以预测PM2.5以外，还有很多非常有用的task： 举例来说，股票预测系统。如果要做股票预测系统的话，要做的事情就是找到一个function，这个function的input可能是过去十年各种股票起伏的资料或者是公司并购的信息。希望这个function在input这些资料之后，output呢，是明天的道琼斯工业平均指数。     另一个例子就是现在很火的无人驾驶，也可以想为Regression的例子。input是无人车看到的各种场景（包括红外线感受到的场景、摄像头拍摄到的场景等），output是方向盘旋转的角度。     另外一个例子就是推荐系统，也可以想象成Regression的问题。输入是使用者A浏览商品B或者A购买B的记录，输出是使用者A买商品B的可能性。这样就可以推荐给用户最有可能购买的商品。   ------------------------------------------------------------------------------------------------------------------------------- 上面是Regression的种种应用，今天我们要讲一个更实用的应用：预测宝可梦进化后的CP值。                             CP值就是战斗力。当我们抓到一只宝可梦之后，给它吃一些东西，它就会进化，进化之后CP值就会变了。   为什么我们希望预测进化后的CP值呢？因为如果我们能够预测进化后的CP值，我们就可以评估是否选择进化这只宝可梦。如果某一只宝可梦进化后的CP值预测的比较低，那就不去进化它了，就可以省下食物了~~   今天要做的事情就是，找到一个function，input为一只宝可梦的信息，output是这只宝可梦进化后的CP值。 x       表示一只宝可梦。   表示这只宝可梦进化前的CP值，图中为14。 //我们用下标表示一个完整的东西里面的某一部分。csdn没法写下标，所以截图了。    表示物种。图中这只宝可梦是妙蛙种子。   表示生命值。图中这只宝可梦生命值为10。    表示重量。    表示高度。   怎么解决这个问题呢？我们知道（第一堂课讲过）做meahine learning就是3个步骤： 1.找到一个model。model就是function的集合。 2.从model中拿一个function，可以evaluate它的好坏。 3.找一个最好的function。   -------------------------------------------------------------------------------------------------------------------------------  首先从第一步开始，Step1：Model。   一个model，就是一个function set。一个model里面有很多个function f1,f2...              在这个task里面，我们的model应该长什么样呢？ 我们先胡乱写一个：                                            (1) 即，进化后的值y等于某个常数b加上w乘以进化前的cp值。w和b是参数，可以是任意的数值。 在这个model里面，w和b是未知的，可以把任意的数字填进去。填进不同的数值就得到了不同的function。比如，当b = 10.0,w = 9.0时为f1,当b = 9.8, w=9.2时为f2,...如果b和w可以带任何值的话，function可以有无穷个。用式子(1)代表这些function的集合。              在这些function中,显然有一些是不太正确的，比如f3，当进化前cp为正的，进化后变成了负的，这显然是说不通的。这就是后面要靠training data告诉我们这些function里面哪一个才是合理的function。   (1)这样的model是一种linear model。所谓的linear model，简单来说，是指我们可以把一个function写成如下形式：                                           其中，代表x的不同的属性，叫做feature。   -------------------------------------------------------------------------------------------------------------------------------  我们要收集training data才能够找出这个function。这是一个supervised learning，所以要收集的是function的input和output。 因为这是一个Regression的task，所以output是一个数值。 举例来说，当抓了一只杰尼龟，用来表示它。         //我们上标来表示一个完整的个体的编号。 杰尼龟进化为卡咪龟，杰尼龟进化后的cp值为979，用