ML-机器学习基础

最新推荐文章于 2024-03-21 08:57:35 发布

透明的胡萝卜

最新推荐文章于 2024-03-21 08:57:35 发布

阅读量222

点赞数

分类专栏： ML

本文链接：https://blog.csdn.net/a18730290353/article/details/87985595

版权

7 篇文章 0 订阅

订阅专栏

偏差与方差

偏差与方差分别是用于衡量一个模型泛化误差的两个方面：
- 模型的偏差，指的是模型预测的期望值与真实值之间的差；
- 模型的方差，指的是模型预测的期望值与预测值之间的差平方
在监督学习中，模型的泛化误差可分解为偏差、方差与噪声之和
偏差用于描述模型的拟合能力
方差用于描述模型的稳定性

偏差通常由于我们对学习算法做了错误的假设，或者模型的复杂度不够；
- 比如真是模型是一个二次函数，而我们假设模型为一个一次函数，这就会导致偏差的增大（欠拟合）；
- 由偏差引起的误差通常在训练误差上能体现，或者说训练误差主要由偏差造成
方差通常是由于模型的复杂度相对于训练集过高导致的
- 比如真实模型是一个简单的二次函数，而我们假设模型是一个高次函数，这就会导致方差的增大（过拟合）；
- 由方差引起的误差通常体现在测试误差相对训练误差的增量上。

监督学习的任务是学习一个模型，对给定的输入预测相应的输出
这个模型的一般形式为一个决策函数或一个条件概率分布（后验概率）
- Y=f(X) or P(Y|X)
- 决策函数：输入X返回Y；其中Y与一个阈值比较，然后根据比较结果判定X的类别
- 条件概率分布：输入X返回X属于每个类别的概率；将其中概率最大的作为X所属的类别
监督学习模型可分为生成模型与判别模型
- 判别模型直接学习决策函数或者条件概率分布
  - 直观来说，判别模型学习的是类别之间的最优分隔面，反映的是不同类数据之间的差异
- 生成模型学习的是联合概率分布P(X,Y)，然后根据条件概率公式计算P(Y|X)
  - $P(Y|X) = \frac{P(X,Y))}{P(X))}$

隐变量：当我们找不到引起某一现象的原因时，就把这个在起作用，但无法确定的因素，叫做“隐变量”

条件概率（似然概率）

先验概率

后验概率

贝叶斯公式

$P(Y|X) = \frac{P(X|Y)*P(Y)))}{P(Y))}$

关注