为了吃推广不得不放一篇笔记上来了,不喜勿喷,概率论是工科大二下最简单的科目,希望能帮到各位节约时间。以下是包含PPT的文件内容。网盘链接
L1 排列组合
Permutations
对象的排列是指这些对象在一行中的有序排列。
A permutation of objects is an ordered arrangement of these objects in a row.
In general, n(n − 1)· · ·(n − r + 1) represents the number of different ways that a group of r items could be selected from n items when the order of selection is relevant. And as each group of r items will be counted r! times in this count, it follows that the number of different groups of r items that could be formed from a set of n items is
一般来说,n(n − 1)· · ·(n − r + 1) 表示当选择顺序相关时,可以从 n 个项目中选择一组 r 项目的不同方式的数量。并且由于每组 r 项将被计数为 r!在此计数的次数中,可以由一组 N 个项目组成的不同组的 R 项目的数量为
Combinations
First step of probability
L2 概率论初步
Set theory
概率论
Sample space and events
Random experiment: the outcome of an experiment is not predictable with certainty.
随机实验:实验的结果无法确定地预测。
Sample space: the set of all possible outcomes of an experiment.
样本空间:实验的所有可能结果的集合。
Event: any subset of the sample space, i.e. a set consisting of possible outcomes of the experiment
事件:样本空间的任何子集,即由实验的可能结果组成的集合
The Venn diagram is a graphical representation of logical relations among
events
Axioms of probability
Axioms of probability 概率公理
Consider an experiment whose sample space is S. For each event E of S, we
assume that a number P(E) is defined and satisfies the following three axioms:
加法原理
Equally likely models
概率相等模型
L3 条件概率
Conditional probability 条件概率
Multiplication rule
P(A ∩ B) = P(A)P(B|A) = P(B)P(A|B).
Law of total probability
P(A) = P(A ∩ B) + P(A ∩ B c )
L4 贝叶斯定理和独立
Bayes’ rule
P(A|B) = (P(B|A) * P(A)) / P(B)
其中:
P(A|B):在事件B发生的条件下,事件A发生的概率(后验概率)posterior probability.
P(B|A):在事件A发生的条件下,事件B发生的概率(条件概率)。
P(A):事件A发生的概率(先验概率)prior probability
P(B):事件B发生的概率。
B发生的概率范围内A的概率=A和B发生的共同概率现在除去让B必须发生。
Independent events
Two events A and B are said to be independent if
P(A ∩ B) = P(A)P(B).
Two events A and B that are not independent are said to be dependent.
Remark. Pay attention, A and B are independent does not mean that A ∩ B = ∅!
Property. If A and B are independent, then
P(A|B) = P(A) and P(B|A) = P(B).
The probability of A does not depend on the occurrence or nonoccurrence of B, and conversely.
L5 离散随机变量
Random variables
A sample space S may be difficult to describe mathematically if the elements of S are not numbers. We need to find a way to associate each element s of S with a real number x, which leads to the notion of random variables.
S = {H, FH, FFH, FFFH, . . .},
S = {FFF, HFF, FHF, FFH, HHF, HFH, FHH, HHH}
一个最多可数的随机变量称为离散随机变量。
A random variable that can take on at most a countable number of possible values is said to be discrete random variable.
对于一个离散随机变量x和任何值x,概率P(X = x)通常用p (x)表示,称为概率质量函数。以下简称为pmf。
Mean and variance
L6 常用的离散随机变量 三种分布
Binomial distribution
伯努里分布,
A Bernoulli experiment is a random experiment with two outcomes, modeled with the sample space
S = {0, 1}
非零即一
Let X be a random variable associated with a Bernoulli experiment with
P(X = 1) = p, P(X = 0) = 1 – p,
for some 0 <= p<= 1. The pmf of X can be written as
p(x) = (p ^ x) ((1 - p) ^(1-x)) , x = 0, 1
E[X]=(0)(1 - p)+(1)(p) = p
Var(X)=(0 - p)^2(1-p)+(1 - p)^2 p = p(1 - p)
Binomial distribution
二项分布
A Bernoulli experiment is performed n times independently, and let the random variable X be the number of times when the outcome is 1 in the n trials X是n次中结果为1的个数
The support (range) of X is {0, 1,..., n}.
The pmf of X is p(k) = P(X = k) = (nk) p ^k (1 - p) ^n-k , k = 0, 1,..., n.
Bernoulli distribution 是n=1的情况;
Binomial distribution
E(X) = np, Var(X) = np(1 - p)
Geometric distribution
几何分布
Motivation: we are interested in X the number of independent trials needed in order to get the first success. The probability of success in each trial is constantly p œ (0, 1).
动机:我们感兴趣的是为了获得第一次成功所需的独立试验的数量。每次试验成功的概率始终为p范围是(0,1)。
The support (range) of X is {1, 2, 3,...}. A random variable X is said to have a geometric distribution if the pmf of X is defined by
where 0 < p < 1, q = 1 ≠ p.
Poisson distribution
某事件以一定速率发生的话
The Poisson distribution is a discrete probability distribution that gives the probability of a given number of events occurring in a fixed interval of time or space if these events occur with a known average rate.
L7 连续随机变量
Continuous random variables
一个连续随机变量,它描述在整个区间的分布曲线的函数,就是概率密度函数pdf。
性质
cdf累积分布函数: 在pdf上比x小的累积
Mean and variance
连续随机变量的平均值(期望)
有内层函数直接代换即可
一些期望的特征
方差
Uniform distribution均匀分布
在a-b任意一点概率相同,pdf是一条直线。
L8 常用的连续随机变量 三种分布
Exponential distribution
这里例题2讲述了一个泊松分布和指数分布的转化。
泊松分布适合描述单位时间(或单位面积)内随机事件的平均发生次数。但是,当事件发生的频率非常高时(即λ很大),我们不再关心具体的事件发生次数,而是更关心事件发生之间的时间间隔。而这个时间间隔的分布就是指数分布。
因此,可以说指数分布是泊松分布在λ趋近于无穷大时的极限分布。这意味着,在某些特定条件下(如高频率事件),泊松分布和指数分布可以相互转换或近似。
基本靠cdf相减进行计算,
特性memoryless,取任意两段等长,求得的数值相同。
Normal distribution
一个标准的正态分布
因为图像是对称的,小于0的部分比如Φ(-0.8)可以直接取反。Φ(0.8)
Rayleigh distribution
L9 联合分布的随机变量(多变量)
首先,我们要明白随机变量。随机变量,简单来说,就是一个可能会取不同值的变量,这些值取决于某种随机过程或实验的结果。比如,掷一个骰子,点数就是一个随机变量,因为它可能是1、2、3、4、5或6。
联合pmf(联合概率质量函数):
Joint probability mass functiontion
当我们谈论两个或更多的随机变量时,我们可能会关心它们同时取某个值的概率。比如,我们掷两个骰子,一个骰子的点数是X,另一个骰子的点数是Y。那么,X和Y同时取某个值的概率就是它们的联合pmf。
边缘pmf(边缘概率质量函数):
marginal probability mass function (marginal pmf)
当我们只关心一个随机变量的概率,而不关心其他随机变量的取值时,我们就用到了边缘pmf。比如,如果我们只关心第一个骰子的点数X,而不关心第二个骰子的点数Y,那么X取某个值的概率就是它的边缘pmf。
PDF(概率密度函数):
joint probability density function (joint pdf)
概率密度函数描述的是随机变量在某一取值范围内的概率分布情况。
对于连续随机变量(取值可以是任何实数,如身高、体重等),我们不能简单地列出所有可能的取值和对应的概率(因为这样的取值太多了),而是用一个函数来描述这些概率,这个函数就是PDF。PDF在某个点的值并不代表该点取值的概率,但它可以告诉我们该点附近的取值概率。比如,如果我们说某个人的身高在1.7米附近的概率密度很大,那就意味着这个人有很大的可能性身高接近1.7米。
是否Dependent的判断
协方差Covariance
协方差是用来衡量两个随机变量之间“协同变化”的程度的一个量。简单来说,它描述了当一个随机变量变化时,另一个随机变量如何变化。
直观解释:
- 如果两个随机变量的协方差为正,那么当一个变量增大时,另一个变量也倾向于增大;反之亦然。
- 如果协方差为负,那么当一个变量增大时,另一个变量则倾向于减小;反之亦然。
- 如果协方差为0,那么两个变量的变化就没有直接关系。
一些常用的特点
相关系数(Correlation Coefficient)
相关系数是协方差的标准化版本,它消除了两个变量变化幅度(即标准差)的影响,使得结果只反映两个变量之间的相对变化关系。
直观解释:
- 相关系数的取值范围在-1到1之间。
- 当相关系数为1时,两个随机变量完全正相关,即一个增大,另一个也一定增大。
- 当相关系数为-1时,两个随机变量完全负相关,即一个增大,另一个一定减小。
- 当相关系数为0时,两个随机变量没有线性关系。
不相关特性判断independence
一些期望方差协方差的计算性质
Var(X)=λ^2 E(X)=μ (期望也就是均值)
1.如果 X
和 Y
是随机变量,并且 a
和 b
是常数,那么
(E(aX + bY) = aE(X) + bE(Y))
2.对于两个随机变量 X
和 Y
,以下性质成立:
- (Var(aX + b) = a^2 Var(X)) (其中
a
和b
是常数) - 如果
X
和Y
是独立的随机变量,那么
(Var(X + Y) = Var(X) + Var(Y))
3.当 X
和 Y
不独立时,它们之间的关系可以用协方差来描述:
(Cov(X, Y) = E[(X - E(X))(Y - E(Y))])
并且在这种情况下,
(Var(X + Y) = Var(X) + Var(Y) + 2Cov(X, Y))
4. 样本平均X的方差是单个样本方差的1/n倍。
D(ΣX/n)=ΣD(X)/n^2
L10 极限定理
Markov’s inequality
如果X是一个只取非负值的随机变量那么,对于任何a>0
E(X)=∫0-∞xf(x)dx>=∫ a--∞xf(x)dx
推导得出
Chebyshev’s inequality
Chebyshev’s inequality特点,
对于任何分布恒成立,并且这个不等式相当的保守。
这两个不等式的题型,求上界或下界用马可夫,求上界+下界在期望两边相等用cheby
Sample mean样品平均
看作有一组随机变量的均值是X拔
有很多组这样的随机变量,X拔的期望就会接近于这个均值。
Var(¯X)
=Var((X1+X2+...+Xn)/n)
=Var(X1+X2+...+Xn)/n^2
=n*σ^2/n^2
=σ^2/n
Central limit theorem中心极限定理
中心极限定理是一个特别泛用的定理,它对于所有的分布都成立。而且都可以转化为标准的正态分布。
当我们从某个总体中随机抽取样本时,如果样本量足够大,那么这些样本的均值的分布会趋近于正态分布,无论原来的总体分布是什么形状。
Data analysis
Central tendency: a single numerical value considered as "the most typical of data".
Spread: how much the data are different from the central value
四分位数
Range: the difference between the maximal and minimal numbers.
范围
Interquartile range IQR: the difference between Q3 and Q1.
第一和第三四分位数的范围
Variance (or Sample variance)方差
L11 随机过程
Random process
随机过程是在一组指标T上定义的随机变量的集合,X (t)和T可以是离散的,也可以是连续的。
可以用时间进行索引。
可以用空间进行索引
随机过程的分布是由联合累积分布函数的集合来定义的
Poisson process
泊松过程则是与泊松分布相关的随机过程,它描述了随机事件发生的时间间隔和数量。在这个过程中,事件是独立且以固定的平均速率随机发生的。每个事件的发生不会影响其他事件的发生。
泊松分布是一种概率分布模型,用于描述单位时间内随机事件发生的次数。
- 时间为零时默认此事件不发生
- 互相不相交的时间段发生事件独立
- 发生的事件数量的分布只取决于区间的长度(与位置无关)
- 泊松过程满足泊松分布