机器学习入门难？学会这些提高80%效率 | 第四天打卡

最新推荐文章于 2024-09-11 12:11:23 发布

Python大本营

最新推荐文章于 2024-09-11 12:11:23 发布

阅读量185

点赞数

文章标签：人工智能机器学习编程语言 java 大数据

原文链接：https://gitchat.csdn.net/column/5efc04f01d0c3d14668b869b?utm_source=481753323

版权

Python大本营连载栏目更新啦！

本期，邀请到了清华大学硕士张雨萌老师。

当下机器学习、人工智能领域吸引了许多技术人才投身其中，数学知识繁杂的理论与思想方法是大家在学习过程中的难点，这篇专栏将机器学习涉及到的数学知识统一梳理出来，相信你可以有所收获。

今天，由张雨萌老师为大家分享其原创专栏《机器学习中的数学》中《机器学习概率统计》第三篇：事件的关系：深入理解独立性

从今天开始，张老师将连续 7 天为大家分享其原创专栏《机器学习中的数学》中的内容。

看到最后别忘了给老师打call，滑到文章底部分享、点赞、再看哦！

第四天分享内容：事件的关系：深入理解独立性2

3.条件独立

3.1.条件独立的直观感受

我们在前面讨论了条件概率的内容：事件的关系：深入理解独立性1，自然的直觉告诉我们，我们也应该在条件概率的框架之下来讨论事件之间的独立性，即探讨条件独立的概念。

条件独立的概念其实和独立的概念在本质上并没有太大的区别，无非是在进行事件AA和事件BB讨论的基础上，引入了另外一个前提条件：事件CC。即在给定事件CC发生的前提条件之下，若事件AA和事件BB满足等式：P(A\capB|C)=P(A|C)P(B|C)P(A∩B∣C)=P(A∣C)P(B∣C)成立，我们就说事件AA和事件BB在给定事件CC的前提之下条件独立。大家发现这是不是和独立性的定义基本上差不多呢？

3.2.条件独立的表达式

同样的，我们先对P(A\capB|C)P(A∩B∣C)这个式子进行简单的变形处理：

P(A\cap B|C)=\frac{P(A\cap B\capC)}{P(C)}=\frac{P(C)P(B|C)P(A|B\cap C)}{P(C)}=P(B|C)P(A|B\capC)P(A∩B∣C)=P(C)P(A∩B∩C)=P(C)P(C)P(B∣C)P(A∣B∩C)=P(B∣C)P(A∣B∩C)

其实，在短短这几步的推导里面，涉及到了不少的知识内涵，我们下面来一一解析：

首先，我们依照条件概率的定义，可以得到第一步推导结果：

P(A\cap B|C)=\frac{P(A\cap B\capC)}{P(C)}P(A∩B∣C)=P(C)P(A∩B∩C)

而第二个推导的等式，则是在条件概率应用领域当中使用非常广泛的链式法则：

P(A\cap B\cap C)=P(B\cap C)P(A|B\capC)=P(C)P(B|C)P(A|B\cap C)P(A∩B∩C)=P(B∩C)P(A∣B∩C)=P(C)P(B∣C)P(A∣B∩C)

最后，我们结合P(A\capB|C)=P(B|C)P(A|B\cap C)P(A∩B∣C)=P(B∣C)P(A∣B∩C)这个等式和条件独立的定义式P(A\cap B|C)=P(A|C)P(B|C)P(A∩B∣C)=P(A∣C)P(B∣C)，会发现他们拥有相同的等式左侧，因此将两个等式的右侧划上等号，就可以得到：P(B|C)P(A|B\cap C)=P(A|C)P(B|C)P(B∣C)P(A∣B∩C)=P(A∣C)P(B∣C)

最终我们就获得了这么一个等式：P(A|B\capC)=P(A|C)P(A∣B∩C)=P(A∣C)

这个等式是条件独立的另一个等价定义，也是非常直观的一个等式，这个等式说明了在给定事件CC发生的前提条件下，进一步假定此时如果事件BB也发生，并不会影响事件AA的发生概率（当然这里是指在事件CC发生前提下，事件AA发生的条件概率）。

简单点说，就是在事件CC发生的总的前提条件下，事件BB是否发生，不影响事件AA发生的概率。其实这就又回到了条件概率定义的源头上去了。

3.3.独立与条件独立

这里，我们停下来仔细思考一个重要的概念问题，就是事件AA和事件BB相互独立和在事件CC发生的基础上条件独立是不是等价的呢？直观上看觉得似乎应该能，但是事实上呢？我们看看下面这个例子：

我们举一个非常简单的例子：

假设依次抛掷两枚均匀的硬币，事件AA表示第一枚硬币正面向上，事件BB表示第二枚硬币正面向上。

首先，事件AA和事件BB肯定是相互独立的。那我们此时引入一个条件事件CC，事件CC表示两次试验的结果不同。那么显然，概率P(A\capB|C)=0P(A∩B∣C)=0，因为在两次试验结果不同的前提条件下，压根不可能发生两次都是正面的情况。

这个例子非常明确的说明了，独立和条件独立并不等价。

4.一组事件的独立性

最后，我们将两个事件相互独立的概念进一步推广到多个事件之间的相互独立性。为了方便我们直观理解，这里我们先将多个事件约定为33个，讨论清楚了33个事件独立的情况之后，其他的情况自然而然就迎刃而解了。

关于事件A_1A1 , A_2A2 , A_3A3，这33个事件满足相互独立的条件归结为以下44条：

P(A_1\capA_2)=P(A_1)P(A_2)P(A1∩A2)=P(A1)P(A2)
P(A_1\cap A_3)=P(A_1)P(A_3)P(A1∩A3)=P(A1)P(A3)
P(A_2\cap A_3)=P(A_2)P(A_3)P(A2∩A3)=P(A2)P(A3)
P(A_1\cap A_2\cap A_3)=P(A_1)P(A_2)P(A_3)P(A1∩A2∩A3)=P(A1)P(A2)P(A3)

首先我们看到，前面的三个等式说明了任意两个事件之间是相互独立的，这种性质称之为两两独立，但是这并没有结束，第四个条件也是必要的，他并不是前面三个等式的推论，他无法仅仅通过前面三个条件成立就能得到。反过来，第四个条件成立也不能推导出前面三个条件的成立。

简单点说吧，就是上面这四个条件必须全部检验、全部满足，才能够说这三个事件之间满足独立性。

还是用上面那个抛硬币的那个例子，事件AA表示第一枚硬币正面向上，事件 BB表示第二枚硬币正面向上，事件CC表示两次试验的结果不同。

首先事件AA和事件CC显然满足：P(C)=P(C|A)=\frac{1}{2}P(C)=P(C∣A)=21，即事件AA和事件CC独立，同理可知事件BB和事件CC独立，同时我们知道事件AA和事件BB也满足独立性。

但是到目前为止，即便前三个条件都满足了，此时第四个等式仍然不能满足：即P(A\cap B \cap C)=0P(A∩B∩C)=0，P(A)P(B)P(C)=\frac{1}{8}P(A)P(B)P(C)=81，这两个等式并不相等。

最后由特殊到一般，我们来概况一下任意个数的一组事件之间相互独立应该满足的条件：

P(\bigcap_{i\in S}A_i)=\prod_{i\inS}P(A_i)P(⋂i∈SAi)=∏i∈SP(Ai)对\{1,2,...,n\}{1,2,...,n}的任意子集SS都成立，则称A_1,...,A_nA1,...,An为相互独立的事件。

脱离开上面形式化的公式，实际上，我们可以更加直观的来理解一组事件的独立性，通过对比，其实不难发现他的背景与两个事件的独立性是一样的。一组事件满足独立性意味着下面一个事实：我们把一组事件任意的分成两个小组，一个小组中的任意个数事件的出现与不出现，都不会给另一个小组中事件的发生与否带来任何额外的信息。

5.独立重复试验

在介绍完了事件独立性的基础上，我们再来简单的提一下大家耳熟能详的独立重复试验。

如果某一个试验由一系列独立并且相同的小试验组成，我们称这种试验为独立重复试验。当每个小试验只有两种可能结果的时候，就是我们最为常见的伯努利试验。

这里最简单的例子就是抛硬币。例如，连续nn次独立地抛掷硬币，每次抛掷的结果为正面的概率记作pp，这里的独立指得就是每次试验的事件 A_1,A_2,...,A_nA1,A2,...,An都是独立的，其中A_iAi表示第ii次抛掷的结果为正面。独立性就意味着不管前面的抛掷结果如何，每次抛掷得到正面的概率都是pp。

因此最终我们可以知道，在nn次试验中，有kk次试验结果为正面的概率为：p(k)=\begin{pmatrix}n\\ k \end{pmatrix}p^k(1-p)^{n-k}p(k)=(nk)pk(1−p)n−k 。

当然这个例子本身非常简单，大家也都非常熟悉，这里只是为了再强调一下独立的含义，演示一个独立重复试验的过程。独立重复试验的概念和场景将在我们后面的课程内容中反复多次出现。

好了，本次分享的内容就到这里，感觉有收获的同学，可以滑到文章底部，帮助老师分享点赞收藏，咱们明天见！