task 2 回归

task 2 回归

回归定义与应用例子

回归定义

Regression 就是找到一个函数 functionfunctionfunction ，通过输入特征 xxx，输出一个数值 ScalarScalarScalar。

应用例子

股市预测（Stock market forecast）

• 输入：过去10年股票的变动、新闻咨询、公司并购咨询等
• 输出：预测股市明天的平均值

自动驾驶（Self-driving Car）

• 输入：无人车上的各个sensor的数据，例如路况、测出的车距等
• 输出：方向盘的角度

模型步骤

• step1：模型假设，选择模型框架（线性模型）
• step2：模型评估，如何判断众多模型的好坏（损失函数）
• step3：模型优化，如何筛选最优的模型（梯度下降）

举例（频道观看人数预测）

• step1：模型假设，选择模型框架（线性模型）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-R4s5XdXu-1642005482533)(C:\Users\20986\AppData\Roaming\Typora\typora-user-images\image-20220112235319339.png)]

可以用一元线性模型来模拟曲线

• step2：模型评估，如何判断众多模型的好坏（损失函数

定义损失函数。其中label是真实值。loss就是预测值与真实值的差距

将 function set里的每一个function(每一个function即有着不同的w和b)的loss绘制在等高线上。

其中紫色部分（右上）的loss小，在实际问题中，可以知道这反应第二天的观看人数与前一天的观看人数关系很大，基本就是前一天的观看人数加上一个偏移量。所以，在模型的选择中，有必要用到domain knowledge

• step3：模型优化，如何筛选最优的模型（梯度下降）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Uy3nTcYJ-1642005482536)(C:\Users\20986\AppData\Roaming\Typora\typora-user-images\image-20220113000602640.png)]

这里简单起见，考虑一个变量w对loss的影响

这里可先随机选一个w⁰,w⁰处的倒数值如果是小于0，则证明左边比右边高，是向右移动，得到新的w值，即w₁。其中 $$\eta$$ ：learning rate

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q4hztDCI-1642005482537)(C:\Users\20986\AppData\Roaming\Typora\typora-user-images\image-20220113003215749.png)]

这里考虑两个变量对loss的影响,就用偏微分

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SiiFiPnL-1642005482537)(C:\Users\20986\AppData\Roaming\Typora\typora-user-images\image-20220113003353748.png)]

[外链图片转存中…(img-SiiFiPnL-1642005482537)]