目录
1.随机事件和概率
随机事件a是指可能发生也可能不发生的事件，它有一个发生概率p(a)，且该概率值满足如下约束：0<=p(a)<=1
2.条件概率
对于两个相关的随机事件a和b，在事件a发生的条件下事件b发生的概率称为条件概率p(b|a),定义为
p(b|a)=p(a,b)/p(a) (即a和b同时发生的概率与a发生的概率的比值)
如果事件a是因，事件b是果，则概率p(a)称为先验概率。
后验概率定义为：p(a|b)=p(a,b)/p(b)
贝叶斯公式指出：p(a)p(b|a)=p(b)p(a|b) 变形后p(a|b)=p(a)p(b|a)/p(b)
(贝叶斯公式描述了先验概率和后验概率的关系)
如果随机事件a和b独立，则有p(a,b)=p(a)p(b)
如果n个随机事件
相互独立，则它们同时发生的概率等于各自发生的概率的乘积：
3.随机变量
随机变量是取值有多个可能并且取每个值都有一个概率的变量。
他们分为离散型和连续型。
离散型随机变量：有限个/无限可列个（如整数集是无限可列个）
连续性随机变量：无限不可列个（如实数集）
描述离散型随机变量的分布情况的工具是概率质量函数，它由随机变量取每个值的概率
依次排列组成。它满足
把概率质量函数推广到无限情况，就可以得到连续性随机变量的概率密度函数。
概率密度函数：
（积分值为1对应于取各个值得概率之和为1）
分布函数：
（F(x)为增函数，最大值为1）
正态分布（高斯分布）
的概率密度函数：
（其中
和
分别为均值和方差）
均匀分布：随机变量x服从[a,b]的均匀分布的概率密度函数为
伯努利分布：变量取值只能是0和1，则p(x=1)=p,p(x=0)=1-p (p为[0,1]的一个实数)
4.数学期望与方差
数学期望是加权平均值的抽象，是随机变量在概率意义下的均值。
方差反应的是随机变量取值变化的程度，方差越小，随机变量的变化幅度越小，反之越大。
5.随机向量
随机向量x是一个向量，他的每个分量都是随机变量。（随机向量分为离散型和连续型）
描述离散型随机向量分布的联合概率质量函数：
对于二维离散型随机向量，这是一个二维表：
描述连续型随机向量的是联合概率密度函数，这是一个多元函数。
如果是二位随机变量，则其联合概率密度函数满足：
6.最大似然估计法
设
是来自总体X的样本，
是样本值，
是待估参数。
最大似然估计构造一个似然函数，通过让似然函数最大化求解出。
最大似然函数估计的直观解释是，寻求一组参数，使给定的样本集出现的概率最大。
假设样本服从的概率密度函数为p(x;),其中，x为随机变量，为要估计的参数。给定一组样本
，i=1,2,...,l,它们都服从这种分布，并且相互独立。
最大似然估计构造如下似然函数：
(其中，是已知量，这是一个关于的函数，要让该函数的值最大化，这样做的依据是这组样本发生了，应该最大化它们发生的概率，即似然函数。)
这就是求解最优化问题：
乘积求导不易处理，因此对该函数取对数，得到对数似然函数：
最后要求解问题为
1441
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
