数据预处理——样本分布（正态分布、偏态分布）

最新推荐文章于 2022-03-11 17:52:52 发布
最新推荐文章于 2022-03-11 17:52:52 发布
阅读量7.4k 收藏 15
点赞数 5
分类专栏： python 文章标签： python 统计学
原文链接：https://blog.csdn.net/csdn_lzw/article/details/83387570
版权

转载自：
https://blog.csdn.net/lanchunhui/article/details/53239441
https://www.cnblogs.com/gczr/p/6802998.html

https://blog.csdn.net/csdn_lzw/article/details/83387570

一、何为数据的偏态分布？

频数分布有正态分布和偏态分布之分。正态分布是指多数频数集中在中央位置，两端的频数分布大致对称。

偏态分布是指频数分布不对称，集中位置偏向一侧。若集中位置偏向数值小的一侧，称为正偏态分布；集中位置偏向数值大的一侧，称为负偏态分布。

如果频数分布的高峰向左偏移，长尾向右侧延伸称为正偏态分布，也称右偏态分布；同样的，如果频数分布的高峰向右偏移，长尾向左延伸则成为负偏态分布，也称左偏态分布。

峰左移，右偏，正偏 偏度大于0

峰右移，左偏，负偏 偏度小于0
在这里插入图片描述
在这里插入图片描述

二、构建模型时为什么要尽量将偏态数据转换为正态分布数据？

数据整体服从正态分布，那样本均值和方差则相互独立。正态分布具有很多好的性质，很多模型假设数据服从正态分布。例如线性回归(linear regression)，它假设误差服从正态分布，从而每个样本点出现的概率就可以表示成正态分布的形式，将多个样本点连乘再取对数，就是所有训练集样本出现的条件概率，最大化这个条件概率就是LR要最终求解的问题。这里这个条件概率的最终表达式的形式就是我们熟悉的误差平方和。总之， ML中很多model都假设数据或参数服从正态分布。

三：如何检验样本是否服从正态分布？

可以使用Q-Q图来进行检验
https://baike.baidu.com/item/Q-Q图

统计学里Q-Q图（Q代表分位数）是一个概率图，用图形的方式比较两个概率分布，把他们的两个分位数放在一起比较。首先选好分位数间隔。图上的点（x,y）反映出其中一个第二个分布（y坐标）的分位数和与之对应的第一分布（x坐标）的相同分位数。因此，这条线是一条以分位数间隔为参数的曲线。
如果两个分布相似，则该Q-Q图趋近于落在y=x线上。如果两分布线性相关，则点在Q-Q图上趋近于落在一条直线上，但不一定在y=x线上。Q-Q图可以用来可在分布的位置-尺度范畴上可视化的评估参数。

由于P-P图和Q-Q图的用途完全相同，只是检验方法存在差异。要利用QQ图鉴别样本数据是否近似于正态分布,只需看QQ图上的点是否近似地在一条直线附近,而且该直线的斜率为标准差,截距为均值.

四 ：如果不是正态分布怎么办？

数据右偏的话可以对所有数据取对数、取平方根等，它的原理是因为这样的变换的导数是逐渐减小的，也就是说它的增速逐渐减缓，所以就可以把大的数据向左移，使数据接近正态分布。
如果左偏的话可以取相反数转化为右偏的情况。

五、Box-Cox

https://blog.csdn.net/lcmssd/article/details/80179102?utm_source=blogxgwz0
参加kaggle比赛过程中,看到很多人在预处理阶段会对某些特征X做如下操作 Y = log(1+X), 说是可以把这个特征的分布正态化, 使其更加符合后面数据挖掘方法对数据分布的假设

y = (x**lmbda - 1) / lmbda,  for lmbda > 0
    log(x),                  for lmbda = 0
  • 1
  • 2

在这里插入图片描述

上图lambda取不同值时, (X,Y)的曲线, boxcox变换的工作原理就在这些曲线的斜率中: 曲线斜率越大的区域,则对应区域的X变换后将被拉伸, 变换后这段区域的方差加大; 曲线斜率越小的区域, 对应区域的X变换后将被压缩, 变换后这段区域的方差变小.
右图中看出lambda = 0时, 取值较小的部分被拉伸, 取值较大的部分被压缩; lambda > 1时则相反

http://onlinestatbook.com/2/transformations/box-cox.html

Lee_Yu_Rui
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用plot函数可视化模型诊断图（第二幅图可视化QQ图、判断残差是否符合正态分布）
statistics+insight+vista+power
06-01 419
R语言使用lm函数构建简单线性回归模型（建立线性回归模型）、拟合回归直线、使用plot函数可视化模型诊断图（第二幅图可视化QQ图、判断残差是否符合正态分布）
如何通过样本数据推断其分布
weixin_44194101的博客
05-28 3671
1. 问题 运筹模拟的时候，我们通常会给定，某事件服从正态分布/指数分布之类。问题是，我们通常只能观察到样本数据，没有办法观察到其具体服从的分布。所谓服从什么分布，是需要我们从样本数据推测的。 那么问题来了，怎样从数据推测出其所服从的分布(goodness of fit)呢？ 2. 分析 市面上有一些专业的统计软件，可以做到从数据到分布的推测。比如Stat::Fit。但289美元的价格可着实不低。所以我们需要另想办法。 常见分布匹配的方法有很多，比如 Bayesian information crite.
python数据预处理 :样本分布不均的解决(过采样和欠采样)
12-20
何为样本分布不均： 样本分布不均衡就是指样本差异非常大，例如共1000条数据样本的数据集中，其中占有10条样本分类，其特征无论如何你和也无法实现完整特征值的覆盖，此时属于严重的样本分布不均衡。 为何要解决样本分布不均： 样本分部不均衡的数据集也是很常见的：比如恶意刷单、黄牛订单、信用卡欺诈、电力窃电、设备故障、大企业客户流失等。 样本不均衡将导致样本量少的分类所包含的特征过少，很难从中提取规律，即使得到分类模型，也容易产生过度依赖于有限的数量样本而导致过拟合问题，当模型应用到新的数据上时，模型的准确性和健壮性将会很差。 样本分布不均的解决方法： 过采样 通过增加分类中样本较少的类别的采样数量来
数据预处理-样本分布（正态分布、偏态分布）
sinat_37935727的博客
03-10 4129
数据预处理-样本分布（正态分布、偏态分布） 转载自： https://blog.csdn.net/lanchunhui/article/details/53239441 https://www.cnblogs.com/gczr/p/6802998.html 一、何为数据的偏态分布？ 频数分布有正态分布和偏态分布之分。正态分布是指多数频数集中在中央位置，两端的频数分布大致对称。 偏态分布是指频数分布不对称，集中位置偏向一侧。若集中位置偏向数值小的一侧，称为正偏态分布；集中位置偏向数值大的一侧，称为负偏
python 偏态分布_统计科学之你到底偏哪边的？
weixin_30558697的博客
01-28 2052
今天我们来聊聊统计学中的偏态分布，聊偏态分布以前我们先看看正态分布，下面这张图在公众号文章中多次出现，就是传说中的正态分布。这张图中的横轴是随机变量 x 的具体值，正态分布的中心点是随机变量 x 的均值 μ，以均值为中心，然后向两边扩散，既然是均值，那肯定就有比均值大的值，也有比均值小的点，我们用标准差 σ 表示数据集的离散程度，也就是距离均值 μ 的远近。纵轴是 x 对应的概率密度。我们应该都知...
正态总体样本下的4大分布
qq_35050438的博客
11-09 3127
一.引入： 统计量：对数据进行分析检验的变量 (通俗点说就是一种评判方式和标准) 例如：方差，标准差，样本原点矩和中心距，以及最简单的均值。 正态总体下的四大分布 u统计量~标准正态分布 t统计量~t分布 卡方统计量~卡方分布 F统计量~F分布 上述图片介绍了4大分布 知识前提：学过概率统计和数理初步的人适用。 ...
长尾分布 long-tail distribution
hxxjxw的博客
03-11 2054
实际上，在稳定分布家族中，除了正态分布，其他均为长尾分布。 长尾分布指少部分的类别占据了大部分样本数量，大部分类别只占据很少的样本。head类别主导训练过程 解决方法： data re-sampling loss re-weighting 其他方法（transfer learning meta learning） ...
长尾效应
legend050709的专栏
09-22 4598
（1）定义 在正态分布中，曲线中间凸起的是“头”，两边相对平缓的部分叫做“尾”。 对于绝大部分的需求来说，都会集中在中间凸起的“头”处，但是除了“头”，还有两边长长的“尾”。不同于中间的“头”，分布在尾部的需求是个性化的，零散的，少量的需求。这部分需求，构成了一条长长的“尾巴”，所谓的长尾效应就是在于，它的数量上。将所有的非流行的市场，累加起来就会形成一个巨大的市场，甚至比主流市场还要巨大。 长尾（The Long Tail），或译为长尾效应，是指那些原来不受到重视的销量小但种类多的产品或服务由于
机器学习，朴素贝叶斯 约会数据 dating data
03-07
在训练模型时，我们需要对"DatingTestSet.txt"中的数据进行预处理，包括清洗（去除异常值和缺失值）、编码（将分类特征转换为数字）以及特征缩放（如对连续特征进行标准化）。训练完成后，模型会根据测试集的表现...
统计学三大分布与检验1
08-03
总的来说，正态分布、T分布、卡方分布和F分布是统计学中的核心概念，它们在人工智能中的应用主要体现在数据预处理、假设检验和模型评估等方面。理解并熟练运用这些分布和检验方法，对于提升机器学习模型的性能和解释...
Python数据分析及可视化-81
08-04
通过numpy提供的函数，我们可以方便地创建数组，如`np.array()`、`np.arange()`、`np.ones()`、`np.zeros()`、`np.random.rand()`、`np.random....]之间的随机数组、指定范围内的随机整数以及正态分布的样本值...
21信管2班 武学芹组+独立样本T检验数据分析案例.zip
最新发布
05-22
首先，我们需要整理数据，确保两组样本是独立且满足正态分布的，同时检查方差齐性，这是应用T检验的前提条件。 数据预处理是关键步骤，包括数据清洗、缺失值处理、异常值检测等。在实际操作中，可以使用Excel、SPSS...
数据分析与数据挖掘课程资料 利用MATLAB进行数据分析教程 判别分析及MATLAB实现 共89页.pptx
04-29
- **马氏距离**考虑了数据的协方差结构，能消除变量间的相关性影响，适用于非正态分布或多变量数据。MATLAB的`mahal`函数可以计算马氏距离平方。 2. **Bayes判别**： - Bayes判别法基于贝叶斯理论，计算新样本...
正态分布（normal distribution）与偏态分布（skewed distribution）
热门推荐
11-20 9万+
存在正太分布的概念，自然也少不了偏态分布。 正态分布（normal distribution） 偏态分布（skewed distribution） 左偏态：left skewed distribution，负偏态（negatively skewed distribution），以尾部命名，左偏态或者叫负偏态的尾部，主要在左侧； 右偏态：right skewed distribution，正偏态（p
特征预处理--长尾分布的处理方案
ningyanggege的博客
04-28 9771
声明：版权所有，转载请联系作者并注明出处http://blog.csdn.net/u013719780?viewmode=contents 0x00 前言 数据预处理包含数据探索、数据清洗和特征预处理三部分，《特征工程系列：特征预处理（上）》介绍了无量纲化和特征分桶相关的处理方法，本章将继续介绍特征预处理中的统计变换和类别特征编码相关内容。 0x01 统计变换 数据分布的倾斜...
NO5 -- 抽样分布
XDSXHDYY的博客
08-25 758
抽样分布 抽样指按一定方式从总体中选择或抽出样本的过程。 1.抽样作为人们从部分认识整体这一过程的关键环节，是实现“由部分认识总体”这一目标的途径和手段； 2.抽样主要解决的是对象的选取问题，即如何从总体中选出一部分对象作为总体代表的问题。这样就有利于我们在研究中节省时间和成本，方便有效。 统计量 样本均值 样本均值是指在总体中的样本数据的均值，样本均值的计算依据是样本个数，反映的是样本数据集...
数据的偏态分布
Lavi的专栏
05-15 3万+
偏态分布 频数分布有正态分布和偏态分布之分。 正态分布是指多数频数集中在中央位置，两端的频数分布大致对称。统计数据峰值与平均值相等的频率分布。 偏态分布是指频数分布不对称，集中位置偏向一侧。统计数据峰值与平均值不相等的频率分布。 若集中位置偏向数值小的一侧，称为正偏态分布；集中位置偏向数值大的一侧，称为负偏态分布。如果频数分布的高峰向左偏移，长尾向右侧延伸称为正偏态分布，也称右偏态分布；同样的，如...
群论初步
07-20 4125
Group Theory 1. 群与群论 只有一个代数运算的系统叫做“群”；群在抽象代数中具有基本的重要地位，许多代数结构，包括环、域和模等可以看作是在群的基础上添加新的运算和公理而形成的。 设 GG 是一个非空集合， ⋅\cdot 是它的一个二元运算，如果满足以下条件： (1) 封闭性：若 a,b∈Ga,b\in G，则存在唯一确定的 c∈Gc\in G 使得 a⋅b=ca\cdot b
数据预处理——概率分布形式 C++带类完整实现及案例
05-23
数据预处理中，概率分布形式常用于对数据进行归一化处理。下面是一个C++带类的完整实现及案例： ```cpp #include <iostream> #include <vector> #include <cmath> using namespace std; class ProbabilityDistribution { private: vector<double> data; // 数据 double mean = 0; // 均值 double variance = 0; // 方差 public: // 构造函数 ProbabilityDistribution(vector<double> data) { this->data = data; calculateMean(); calculateVariance(); } // 计算均值 void calculateMean() { double sum = 0; for (double d : data) { sum += d; } mean = sum / data.size(); } // 计算方差 void calculateVariance() { double sum = 0; for (double d : data) { sum += pow(d - mean, 2); } variance = sum / data.size(); } // 获取均值 double getMean() { return mean; } // 获取方差 double getVariance() { return variance; } // 归一化处理 vector<double> normalize() { vector<double> result; for (double d : data) { result.push_back((d - mean) / sqrt(variance)); } return result; } }; int main() { vector<double> data = {1.0, 2.0, 3.0, 4.0, 5.0}; ProbabilityDistribution pd(data); cout << "Mean: " << pd.getMean() << endl; cout << "Variance: " << pd.getVariance() << endl; vector<double> normalizedData = pd.normalize(); for (double d : normalizedData) { cout << d << " "; } cout << endl; return 0; } ``` 在上面的代码中，ProbabilityDistribution是一个概率分布类，包含了数据、均值、方差和相关的计算方法。在main函数中，我们创建了一个包含五个元素的数据向量，然后使用这个向量创建了一个ProbabilityDistribution对象。我们可以使用getMean和getVariance方法获取均值和方差，使用normalize方法将数据进行归一化处理。 注意，这里的归一化处理使用的是Z-score标准化方法，即将每个数据减去均值，再除以标准差。这样处理后，数据的均值为0，标准差为1。 运行上面的代码，输出结果如下： ``` Mean: 3 Variance: 2 -1.41421 -0.707107 0 0.707107 1.41421 ``` 可以看到，均值为3，方差为2，归一化后的数据已经变成了均值为0，标准差为1的形式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值