Datawhale打卡日记5.22

学习任务

从基础概率推导贝叶斯公式，朴素贝叶斯公式

学习先验概率

学习后验概率

学习LR和linear regreeesion之间的区别

1.推导贝叶斯公式，朴素贝叶斯公式

（1）条件概率公式

设A,B是两个事件，且P(B)>0,则在事件B发生的条件下，事件A发生的条件概率（conditional probability)为：
P(A|B)=P(AB)/P(B)

（2）乘法公式

1.由条件概率公式得：

P(AB)=P(A|B)P(B)=P(B|A)P(A)
上式即为乘法公式；

2.乘法公式的推广：对于任何正整数n≥2，当P(A1A2…An-1) > 0 时，有：

P(A1A2…An-1An)=P(A1)P(A2|A1)P(A3|A1A2)…P(An|A1A2…An-1)

（3）全概率公式

1. 如果事件组B1，B2，… 满足

1.B1，B2…两两互斥，即 Bi ∩ Bj = ∅ ，i≠j ， i,j=1，2，…，且P(Bi)>0,i=1,2,…;
2.B1∪B2∪…=Ω ，则称事件组 B1,B2,…是样本空间Ω的一个划分设 B1,B2,…是样本空间Ω的一个划分，A为任一事件，则：

上式即为全概率公式（formula of total probability)

2.全概率公式的意义在于，当直接计算P(A)较为困难,而P(Bi),P(A|Bi) (i=1,2,…)的计算较为简单时，可以利用全概率公式计算P(A)。思想就是，将事件A分解成几个小事件，通过求小事件的概率，然后相加从而求得事件A的概率，而将事件A进行分割的时候，不是直接对A进行分割，而是先找到样本空间Ω的一个个划分B1,B2,…Bn,这样事件A就被事件AB1,AB2,…ABn分解成了n部分，即A=AB1+AB2+…+ABn, 每一Bi发生都可能导致A发生相应的概率是P(A|Bi)，由加法公式得

P(A)=P(AB1)+P(AB2)+…+P(ABn)
=P(A|B1)P(B1)+P(A|B2)P(B2)+…+P(A|Bn)P(PBn)

（4）贝叶斯公式

1.与全概率公式解决的问题相反，贝叶斯公式是建立在条件概率的基础上寻找事件发生的原因（即大事件A已经发生的条件下，分割中的小事件Bi的概率），设B1,B2,…是样本空间Ω的一个划分，则对任一事件A（P(A)>0),有

上式即为贝叶斯公式（Bayes formula)，Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,…)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2…)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

先验概率和后验概率

先验概率与后验概率

事情还没有发生,要求这件事情发生的可能性的大小,是先验概率。
事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率。

LR和linear regreeesion之间的区别

这里的LR意值逻辑回归。
逻辑回归和线性回归都属于广义线性回归。
区别如下：

线性回归的输出是连续值，逻辑回归的输出区间为[0,1]，可简单理解为事件发生的概率，基于该概率做分类。
逻辑回归是线性回归被sigmoid函数映射后的结果。