机器学习——联合概率分布及其意义

1 定义

1.1 联合概率

联合概率表示为包含多个条件并且所有的条件都同时成立的概率,记作 P(X=a,Y=b)或 P(a,b),有的书上也习惯记作P(ab)。

1.2 联合概率分布

联合概率分布就是联合概率在样本空间中的分布情况

下面是百度百科上的定义:
联合概率分布简称联合分布,是两个及以上随机变量组成的随机变量的概率分布。根据随机变量的不同,联合概率分布的表示形式也不同。对于离散型随机变量,联合概率分布可以以列表的形式表示,也可以以函数的形式表示;对于连续型随机变量,联合概率分布通过非负函数的积分表示。

简单来说就是两个及以上的随机变量组成的关于随机变量的概率分布。

1.3 相关公式

与条件概率的关系:

P ( X ∣ Y ) = P ( X , Y ) P ( Y ) ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ( 1 ) P(X|Y) = \cfrac{P(X, Y)}{P(Y)} · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · (1) P(XY)=P(Y)P(X,Y)(1)

与边缘概率的关系 :

P ( X ) = ∑ i = 1 N P ( X , Y ) ⋅ P ( Y ) ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ⋅ ( 2 ) P(X) = \sum_{i=1}^NP(X, Y) · P(Y)· · · · · · · · · · · · · · · · · · · · · · · · · · · · · (2) P(X)=i=1NP(X,Y)P(Y)(2)

2 意义

在统计学习,机器学习中,我们的目标就是找到两个随机变量的联合概率分布P(X,Y)。

比如说我们有一个模型,有输入变量空间X=(x1,x2,…,xn)和输出变量空间Y=(y1,y2,…,ym),可能是离散的,可能是连续的。那么现在我们这个模型的作用就是在输入一个x的时候,能够给出一个y,也可以说我们这个模型的作用就是找到X和Y的联合概率分布P(X,Y)。那么我们就可以根据公式(1),即根据联合概率得到条件概率P(Y∣X),于是就可以利用这个条件概率找到给定一个x的情况下,最大可能的y
是哪一个。

而我们上面的基本前提就是假设存在 X 关于Y 的联合概率分布。如果根本就不存在这样的联合概率分布,那么这个模型也是个没有什么意义的模型。

本文参考:https://blog.csdn.net/qq_39636214/article/details/85036837

  • 8
    点赞
  • 23
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
决策树算法是一种广泛应用于分类和回归的机器学习算法,它基于树形结构对样本进行分类或预测。决策树算法的主要思想是通过一系列的判断来对样本进行分类或预测。在决策树中,每个节点表示一个属性或特征,每个分支代表该属性或特征的一个取值,而每个叶子节点代表一个分类或预测结果。 决策树算法的训练过程主要包括以下步骤: 1. 特征选择:根据某种指标(如信息增益或基尼系数)选择最优的特征作为当前节点的分裂属性。 2. 决策树生成:根据选择的特征将数据集分成若干个子集,并递归地生成决策树。 3. 剪枝:通过剪枝操作来提高决策树的泛化性能。 决策树算法的优点包括易于理解和解释、计算复杂度较低、对缺失值不敏感等。但是,决策树算法也存在一些缺点,如容易出现过拟合、对离散数据敏感等。 下面是一个决策树算法的案例:假设我们要根据一个人的年龄、性别、教育程度和职业预测其收入水平(高于或低于50K)。首先,我们需要将这些特征进行编码,将其转换为数值型数据。然后,我们可以使用决策树算法对这些数据进行训练,并生成一个决策树模型。最后,我们可以使用该模型对新的数据进行分类或预测。例如,根据一个人的年龄、性别、教育程度和职业,我们可以使用决策树模型预测该人的收入水平。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值