机器学习之统计学基础、泛化误差、方差、偏差、噪声、极差、离散程度、分布形状

最新推荐文章于 2024-01-26 11:16:10 发布

庆、

最新推荐文章于 2024-01-26 11:16:10 发布

阅读量1.9k

点赞数 2

分类专栏：机器学习、统计学基础文章标签：机器学习 machine learning python3 算法统计学

本文链接：https://blog.csdn.net/Mr_Sunqq/article/details/85322721

版权

机器学习、统计学基础专栏收录该内容

1 篇文章 0 订阅

订阅专栏

以下内容是个人的随手记录，就是介绍了下简单的使用；

欢迎大家吐槽，接下来就是激情的时刻，准备好啤酒饮料矿泉水，开整！！！

统计学分类:

一、描述统计学

1. 反映客观现象的数据

2. 处理并使用图标显示

3. 分析概括规律性的数量特征

二、推断统计学

1. 根据样本数据推断总体特征

2. 推断统计学在描述统计学基础之上

3. 分析概括规律性数量的特征

泛化误差公式:

Err(x)=E[(y-f(x;D))^2]

描述：

符号	含义
	测试样本
	数据集
${_{}}^{}$ ${y_{D}}^$	在数据集中的标记
	的真实标记
	训练集学得的模型
	由训练集学得的模型对的预测输出
$\bar{f}(x)$	模型对的期望预测输出

方差公式：

$Var(x)=[{E_{D}}(f(x;D)-\bar{f}(x))^2]$

描述：度量了同样大小的训练集变动导致学习性能的变化，描述了数据扰动对统计(机器学习)所造成的影响

偏差公式:

$bias^{2}(x)=[\bar{f}(x)-y]^2$

描述：度量了期望预测与真是结果的偏离程度，描述了算法本身的拟合能力

噪声公式：

$\epsilon^2={E_{d}}[({y_{D}}-y)^2]$

描述: 噪声真实标记与数据集中的实际标记间的偏差，算法能达到的期望泛化误差的下界，描述了学习问题本身的难度

泛化误差分解公式：

$Err(x)={E_{D}}[(f(x;D)-\bar{f}(x))^2] + (\bar{f}(x)-y)^2 + {E_{D}}[({y_{D}}-y)^2]$

既: Err(x) = 方差值 + 偏差值 + 噪声值

欠拟合: 偏差大、方差小

造成原因: 所选特征不够，所选模型不符合

解决方案：加特征、换模型

过拟合：偏差小、方差大

造成原因：所选模型太拟合真实数据

解决方案：增加训练数据、降低维度、增加混合项

极差公式：max([1,2,3,4,5]) - min([1,2,3,4,5])

描述：同一组数据中的最大值 - 同一组数据中的最小值

离散程度-->方差公式:

$\sigma^2=\frac{\mathrm{1} }{\mathrm{N}}\sum_{i=1}^{N}(x_{i}-\mu)^2$

描述：

${x_{i}}$ 表示数据集中地i个数据的观察值

$\mu$ 表示数据集的均值

离散成都求方差应用举例:

A: [1, 2, 5, 8, 9] B:[3, 4, 5, 6, 7]

$\mu_{A}^{2}=\frac{1}{5}[(1-5)^2+(2-5)^2+(5-5)^2+(8-5)^2+(9-5)^2]=10$

$\mu_{B}^{2}=\frac{1}{5}[(3-5)^2+(4-5)^2+(5-5)^2+(6-5)^2+(7-5)^2]=2$

偏态在统计软件中使用的公式：

$\large sk=\tfrac{n}{(n-1)(n-2)}\sum (\tfrac{x_{i}-\bar{x}}{s})^3$

描述: 数据分布的不对称性称之为偏态, s是标准差

左偏分布：sk < 0

对称分布：sk=0

右偏分布：sk>0

峰度公式:

$\large k=\tfrac{n(n+1)}{(n-1)(n-2)(n-3)}\sum (\tfrac{x_{i}-\bar{x}}{s})^4-\tfrac{3(n-1)^2}{(n-2)(n-3)}$

描述: 数据分布的扁平或尖峰程度

扁平分布：k<0

尖峰分布：k>0

扁平分布与正太分布区别：扁平分布扁平、瘦尾、肩部较胖

尖峰分布与正太分布区别：尖峰分布尖峰、肥尾、肩部较瘦

注意：以上内容是个人使用的随手记录，就是介绍了下简单的使用

欢迎大家来吐槽，准备好瓜子饮料矿泉水，开整!!!

---------------------------------------------------------------------------------------

搞笑一则：能动手尽量别吵吵

庆、

关注

2
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
机器学习之统计学基础、泛化误差、方差、偏差、噪声、极差、离散程度、分布形状

以下内容是个人的随手记录，就是介绍了下简单的使用；欢迎大家吐槽，接下来就是激情的时刻，准备好啤酒饮料矿泉水，开整！！！统计学分类:一、描述统计学1. 反映客观现象的数据2. 处理并使用图标显示3. 分析概括规律性的数量特征二、推断统计学1. 根据样本数据推断总体特征2. 推断统计学在描述统计学基础之上3. 分析概括规律性数量的特征泛化误差公...
复制链接

扫一扫

专栏目录