- 点击上方“中国统计网”订阅我吧!-
概率分布就像3D眼镜。它们允许熟练的数据分析师识别其他完全随机变量的模式。在某种程度上,大多数其他数据科学或机器学习技能都基于对数据概率分布的某些假设。这使得概率知识成为统计学家构建工具箱的基础。如果您正在寻找如何成为数据科学家的第一步。不用多说,让我们切入正题。 什么是概率分布?在概率论和统计学中,随机变量是一个随机值的东西,比如“我看到的下一个人的身高”。给定一个随机变量X,我们想要一种描述它的值的方法。更重要的是,我们想要描述该变量获取特定值x的可能性。 例如,如果X是“我的女朋友有多少只猫”,那么这个数字可能是1的非零概率。有人可能会认为这个值甚至可能是5或10的非零概率。然而,没有办法(因此没有可能)一个人会有负数的猫。因此,我们想要一种明确的数学方法来表达变量X可以采用的每个可能值x,以及事件(X = x)的可能性。 为了做到这一点,我们定义函数P,使得P(X = x)是变量X具有值x的概率。对于间隔而不是离散值,我们也可以要求P(X x)。这将很快变得更加重要。P是变量的密度函数,它表征变量的分布。 随着时间的推移,科学家们开始意识到自然界中的许多事物,现实生活往往表现相似,变量共享一个分布,或具有相同的密度函数(或类似的函数改变其中的一些常数)。 有趣的是,对于P是一个实际的密度函数,有些事情必须适用。对于任何值 x,P(X = x)<= 1。是再确定不过的事情了。
对于任何值 x,P(X = x)> = 0。也没有什么疑义。
和最后一个:所述之和的P(X = x)的所有可能的值X为1。
• 可以在真实空间中获取所有值,但仅在5%的时间内偏离规范的两个sigmas。
• 几乎无处不在。 大多数情况下,如果你测量任何经验数据并且它是对称的,假设它是正常的将有点工作。 例如,滚动 K 骰子并将结果相加将分配非常正常。 对数正态概率分布 对数正态概率分布是正常概率分布的不常见的姐妹。 如果变量 Y = log(X) 遵循正态分布, 则称变量X是对数正态分布的。 当在直方图中绘制时,对数正态概率分布是不对称的,并且如果它们的标准偏差更大则变得更加如此。 我认为对数正态分布值得一提,因为大多数基于货币的变量都是这样的。 如果你看一下与钱有关的任何变量的概率分布,比如: • 在某个银行的最新转账上发送的金额。
• 华尔街最新交易量。
• 一组公司在特定季度的季度收益。 它们通常没有正态的概率分布,但会更接近对数正态随机变量。 指数概率分布 指数概率分布也随处可见。它们与称为泊松过程的概率概念密切相关 。 直接从维基百科窃取,泊松过程是“ 事件以恒定的平均速率连续且独立地发生的过程 ”。 所有这些意味着,如果: • 你有很多活动。 • 它们以一定的速率发生(不随时间变化)。 • 仅仅因为一个发生了另一个发生的机会不改变。 然后你有一个泊松过程。 一些例子可能是来到服务器的请求,在超市中发生的交易,或在某个湖中捕鱼的鸟类。想象一下频率为λ的泊松过程(比如,事件每秒发生一次)。指数随机变量模拟事件发生后下一个事件发生所需的时间。有趣的是,在泊松过程中 ,事件可以在任何时间间隔内发生在0到无穷大之间(降低概率)的任何地方。 这意味着无论您等待多久,事件都不会发生非零事件。这也意味着它可能在很短的时间内发生很多次。 在课堂上,我们常常开玩笑的是巴士到达泊松过程。 我认为将WhatsApp消息发送给某些人时的响应时间也符合标准。 但是,λ参数调节事件的频率。它将使事件实际发生的预期时间以某个值为中心。这意味着如果我们知道出租车每隔15分钟通过我们的街区,即使理论上我们可以永远等待它,我们也很可能不会等待30分钟。 数据科学中的指数概率分布这是指数分布随机变量的密度函数: 假设您有一个来自变量的样本,并希望查看它是否可以使用指数分布变量建模。 最佳λ参数可以很容易地估计为采样值平均值的倒数。指数变量非常适合用非常罕见但巨大(和平均值)的异常值对任何概率分布进行建模。这是因为它们可以取任何非负值但以较小值为中心,随着值的增加频率降低。 在特别是异常繁重的样本中,您可能希望将λ估计为中位数而不是平均值,因为中位数对异常值更为稳健。 结论总而言之,我认为学习基础知识对我们很重要。 概率和统计可能不像深度学习或无监督机器学习那样华丽,但它们是数据科学的基石。特别是机器学习。 根据我的经验,提供具有功能的机器学习模型,而不知道他们遵循哪种分布,这是一个糟糕的选择。 记住无处不在的指数和正态概率分布以及它们较小的对应物,对数正态分布也是很好的 。 在训练机器学习模型时,了解它们的属性,用途和外观会改变游戏规则。在进行任何类型的数据分析时,记住它们通常也很好。
End.
来源:CSDN
原文链接:https://blog.csdn.net/yoggieCDA/article/details/100703311
后台回复【社群】
即可加入数据分析交流群
2000+数据行业小伙伴都在这里~!