深度学习基础 - 概率

深度学习基础 - 概率

flyfish

概率也是一门从不严谨到严谨的学问，严不严谨现在看就是有没有公理化。
微积分不严谨的时候可以叫古典微积分
概率论不严谨的 时候叫古典概率论
1728年，巴黎市政府发行了一种彩票，伏尔泰 没听错就是大名鼎鼎的伏尔泰，发现了bug，人们对概率不大明白的时候，他好像懂了点，伏尔泰因词发了财，后半辈子衣食无忧过上了土豪生活。
概率论从17世纪50年代创立至今,近340年的发展过程，不严谨到严谨也得数百年。三四百年前在欧洲许多国家，贵族之间盛行赌博之风。掷骰子是他们常用的一种赌博方式。因骰子的形状为小正方体，当它被掷到桌面上时，每个面向上的可能性是相等的，即出现1点至6点中任何一个点数的可能性是相等的。有的参赌者就想：如果同时掷两颗骰子，则点数之和为9与点数之和为10，哪种情况出现的可能性较大？
划时代的人物总得描述他之前是什么样子，他之后是什么样子，人们对“有可能”和“概率大”是分不清的。这人就是拉普拉斯，拉普拉斯于1812年出版了他的著作《分析的概率理论》，这个新事物出现的时候，总是伴随着不严谨，一个事物总得先有，然后对它迭代改进。刚开始有bug 不要紧，后人会修复bug的。

概率论严谨是从柯尔莫哥洛夫开始的，柯尔莫哥洛夫1933年在他的《概率论基础》书中有定义有严密的公理体系。他的公理化方法成为现代概率论的基础，使概率论成为严谨的数学分支。拉普拉斯于1812年出版了他的著作《分析的概率理论》

概率描述是从随机试验开始的

随机试验
1.可以在相同的条件下重复的进行。
2.每次试验的可能结果不止一个，并且能事先明确试验的所有可能结果。
3.进行一次试验之前不能确定哪一个结果会出现。

样本空间
随机试验E的所有可能结果组成的集合称为E的样本空间，记为S

样本点
样本空间的元素即E的每个结果称为样本点

事件
试验E的样本空间S的子集为E的随机事件，简称事件

事件发生
在每次试验中，当且仅当这一子集中的一个样本点出现时，称这一事件发生

基本事件
由一个样本点组成的单点集，称为基本事件。例如抛硬币有两个基本事件，正面和反面。

必然事件
样本空间S包含所有的样本点，它是S自身的子集，每次式样它总是发生的，S称为必然事件

不可能事件
空集不包括任何样本点，它也作为样本空间的子集，它在每次试验都不发生，称为不可能事件

频数与频率
在在相同的条件下，进行了n次试验，在n次试验中，事件A发生的次数$n_A$称为事件A发生的频数。
而比值$n_A/n$ 称为事件A发生的频率。

概率
设E是随机试验，S是它的样本空间，对于E的每一个事件A赋予一个实数，记为P（A），称为事件A的概率

等可能概型（古典概型）
特点
1试验的样本空间只包含有限个元素；
2试验中每个基本事件发生的可能性相同。
公式
设试验的样本空间为S={e1,e2,e3,…,en}，若事件A包含k个基本事件，即A={ei1}⋃{ei1}⋃…{eik}，这里i1,i2,…,ik是1,2,…,n中k个不同的数。则有：

P ( A ) = ∑ j = 1 k P ( { e i j } ) = k n = A 包 含 的 基 本 事 件 数 S 中 基 本 事 件 的 总 数 P(A)=\sum_{j=1}^k P(\{e_{i_j}\})=\frac{k}{n}=\frac{A包含的基本事件数}{S中基本事件的总数} P(A)=∑j=1k​P({eij​​})=nk​=S中基本事件的总数A包含的基本事件数​

条件概率(Conditional probability)

定义
设A，B是两个事件，且P(A)>0，称$P(B|A)=\frac{P(AB)}{P(A)}$
为在事件A发生的条件下，事件B发生的条件概率。

参考文献

《数学七年级下册》北师大版 6.1概率的起源和发展
《概率论与数理统计（第四版）》浙大 盛骤、谢式千、潘承毅