Regression: Case Study
这是一篇有关于AI基础课程-线性回归的课程笔记
一、线性回归的例子
1.股市预测：把过去关于股市的种种参数输入进去，然后能够预测出明天大盘的走向
2.无人驾驶汽车：在得到视觉传感器传回的信息时，能够调整方向盘的角度
3.商品预测：淘宝知道你购买各个商品的可能性是多少，并且尽可能推荐你喜欢的商品
二、神奇宝贝的进化战斗力如何变化
例子：我们如何通过一只神奇宝贝在进化前的种种参数来推测出这只神奇宝贝在进化后会有多少战斗力呢？
注：CP表示战斗力。
那我们就要找到一个适合的函数。首先我们要对种种参数进行标记。
设这个神奇宝贝为x，进化前的战斗力则为Xcp，进化前的HP为Xhp，进化前的种类为Xs，进化前的重量是Xw，进化前的高度是Xh。也就是说这个神奇宝贝的进化可以这样表示：X（Xcp,Xhp,Xs,Xw,Xh）-> Y(Ycp)
我们使用了linear model（线性回归模型）
线性回归模型的表达式为：linear model
· wi代表了weight，也就是权重
· xi代表了feature，也就是特征（比如说Xcp代表了进化前的战斗力，而Xhp代表了进化前的生命值）
· b代表了bias（偏离度，也就是线与y轴的交点）
· Scalar：数值
· Hat（y头顶上的小帽子）：代表这是一个正确的数值，是我们观察到实际上输出的应该有的数值。
在以上的研究数据中我们可以看出，进化前的cp值和进化后的cp值，呈现出很明显的线性关系。
1、Loss function（损失函数）：
· 作用：测定一个function有多么不好。
· 使用方法：喂给L一个function，output就是这个function有多么不好。
2、图中公式的意义
· 划红线的部分：是我们喂进去的数据所吐出来的cp值，也就是我们根据当前的函数进行预测出来的虚拟的cp值。
· 蓝框的部分：是用实际上的cp值减去我们利用我们使用数据预测出来的cp值，得到的值，进行平方。
· 最后在上面蓝框处理后的情况下进行积分，最后得到误差平方的和。
在如上图所示的Lossfunction中，我们能看到的是w和p决定了的L（函数好坏）
越偏向蓝色越好，红色越坏
所以这是一个三维图
argmax是一种对函数求参数(集合)的函数。当我们有另一个函数y=f(x)时，若有结果x0= argmax(f(x))，则表示当函数f(x)取x=x0的时候，得到f(x)取值范围的最大值。X0=Argmin(f(x))意义亦复如是。
通过穷举法，我们能够找到最好的L函数的函数值（也就是当L函数的自变量取值为f的时候，此时f所对应的w和b都是最优质的w和b，它们被记为w和b）
Gradient Descent（梯度下降法）
· w* = argminL(w)
· 由上面的式子可知：我们的函数应该是以L为纵坐标、w为横坐标进行的。
LearningRate（学习率 · 随自变量同等程度增加参数更新的幅度大小）
· 因为在图中所示位置，微分dl/dw，也就是切线的斜率<0，所以k<0，那么w0就应该增加-k·dl/dw
1、linear regression（线性回归）
2、iteration（迭代）
3、optimal（最优解）
这个符号代表的是一个常数，（每次的微分值 x 这个常数） == （总的更新）
步骤1：取任意w和b的初始值设为w0，b0.
步骤2。1：计算w=w0处，w的偏微分，并且更新w的值。
步骤2。2：计算b=b0处，b的偏微分，并且更新b的值。
步骤3：重复进行跟新操作，直到w和b不再更新为止，我们就找到了一个洼地。
在这个梯度下降图像中，我们计算出了偏微分的不断更新的方向，把我们指向Lossfunction的值更低的地方。
那么问题出现了：我们是否总能梯度下降在一个最低点呢？
不是这样的：
但不必担心在线性回归（linear regression）里面的loss function的value
也就是说在线性回归中，无论从哪一点开始走，都只有一个最低点。
我们知道L的表达式，分别对w和b求它们对于L的偏导数（偏微分）
结果如上图所示。（图2是偏导数的计算方法实例）
我们能够看到这条直线在original CP较小和较大的时候都显得不适用了
那么就需要引入曲线 —— 不是 linear regression。需要引入二次式。
从上面的结果我们能够看出:在引入了二次式之后,整个函数能够更好地进行预测.
那么如果我们引入三次式呢?
我们引入三次式之后,整个函数的error又变小了一点
但是尤其需要注意的是:
1.什么是training data
2.什么是test data.
这非常重要!我们根据梯度下降法找到的应该是training data,而实际上进行测试的时候,我们得到的是test data
那么既然到目前为止,我们增加了参数的次,得到的error越来越小,那么会持续下去吗?
不会!详情请看下面加入了四次式和五次式的函数.
我们不难看出,在model变得更复杂的同时,虽然training data的error越来越小,但是test data却反向越来越大.
这个时候,training data的优化就变得毫无意义.
-> 所以我们需要一个合适的model.而不是复杂的.
分段函数,冲击函数的应用:
#在抓住60只宝可梦的前提下,我们能够根据物种来对他们实行分段函数.
凋他(那个奇怪的符号)其实是一个常数选择函数.
如果 -> delta判定xs == pidgey
那么 -> delta(xs == Pidgey) == 1
-> otherwise == 0
整个函数就会变成这个样子:
被乘上 0 的项,全部都被化为 0 了.这就相当于一种变相的分段函数!
为什么我们做到了分段但是还是不能吧error降到极低甚至0?
#原因1:宝可梦官方程序在进化的过程中,向函数中加入了一个随机的random参数.
#原因2:还有其他的参数在影响着宝可梦进化后的CP值.
我们设计了一个终极的式子,把所有可能影响进化后CP值得参数全部都放到了这个function中:
1,得到的training data很低
2,得到的testing data很高
-> 还是overfitting了啊! ->我们可以删去一些不影响最后cp值的参数来避免overfitting.
-> 但是我们不知道到底哪些是需要的参数,哪些是不需要的参数.
既然我们不知道哪些是需要的参数,哪些是不需要的,那么我们就可以调整整个分段函数的平滑度,让平滑度++
这样的话x + delta x就会引发一个更小的Lossfunction数值的改变.
平滑度增加后,我们能得到更加优秀的Lossfunction函数.
也就是说,我们能够适当地增加training data的错误度来减少实际上的testing data.
在后面这一项中为什么没有bias?
229
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
