【重磅】模型、假设函数、损失函数、决策函数

洗脑概念：

假设函数 = 假设空间 = 模型

包括：

①决策函数模型： 等，例如：多元回归、LASSO等

②条件概率分布模型：等，例如：Logistic等

以下我就用“假设函数” 这四个字来说吧。

当模型的参数通过一系列方法(GD等最优化算法)求出后，此时模型已经出来了，这个时候，我们“模型” 与 “假设函数”，就有区别了，模型应该称作 “决策函数”，决策函数的符号有时也用 表示，带入某个数据后，有

所以应该这么认为：

假设函数（参数未知，待加工）----->决策函数（参数已求，可预测，成品！）

一系列的拟合，优化算法，都是在“加工”函数模型，“加工”完毕后，就能拿去市场“卖”（做预测）了！

符号说明：

 

这里我们 将 损失函数 直接写出来(根据定义)，不推导损失函数本身如何得到。

由  假设函数 得  损失函数：（以多元回归 和 平方损失为例）

以Logistic回归 和 log对数损失为例：

说明：

请看图中“注意”

求出Logistic的梯度就能更新了。接下来的步骤请参考另一篇文章，Logistic Regression：

【机器学习】Logistic Regression 逻辑回归