李宏毅机器学习笔记：回归

前言

本文是基于台湾李宏毅机器学习课程所记录下的笔记，本文主要关于回归内容进行了整理和总结

一、回归

• 回归案例

回归的应用层面有很多，比如股市房价预测，输入往年的股票房价数据输出未来的预期值；在自动驾驶方面也有所应用，输入传感器数据预测方向盘的角度，以及在商品推荐上等等。

二、回归模型

• Step1 模型假设：线性模型

通过对输入特征数来进行线性模型的假设(这里介绍线性模型)

• Step2 损失函数

损失函数是判断模型的好坏，最简单的损失函数也是最常见的就是计算模型输出和真实标签之间的距离大小，距离越小模型越好。

• Step3 优化

有了上述定义的损失函数，我们的目标就是要优化损失函数使得模型输出更好地能够拟合真实标签，优化的最基本算法就是很经典的梯度下降算法，关于梯度下降算法这里不细讲，简单来说就是对损失函数求导数并顺着梯度下降的方向找到全局最小点，使得模型最优。

三、更复杂的回归模型

上述介绍的是基本的线性回归模型，在实际应用中，事物表现得更多的是非线性，光是只用线性来描述肯定是不够的，因此需要更复杂的非线性模型来拟合。

• 更多的特征表示

为了做到拟合和表示更多的特征，引入了激活函数的概念，激活函数的目的也正是为了使得模型更加非线性化更具有多样性，常见的激活函数有sigmoid，tanh，relu等等，当然除了激活函数还引入偏置项。

• 更深层的网络

这里其实就引入了神经网络的概念，神经网络事实上就是函数的叠加嵌套，目的也只是为了更好的找到最优的模型，并且更好拟合更复杂的模型。