[机器学习][数学基础]概率论与数理统计概括

最新推荐文章于 2020-08-01 11:47:04 发布

Twish

最新推荐文章于 2020-08-01 11:47:04 发布

阅读量735

点赞数 1

分类专栏：机器学习数学基础

本文链接：https://blog.csdn.net/qq_27695659/article/details/102774021

版权

机器学习同时被 2 个专栏收录

14 篇文章

订阅专栏

数学基础

3 篇文章

订阅专栏

文章目录

1概率论的基本概念
2离散型随机变量及其分布律
3连续型随机变量及其概率密度
4期望
5方差
6常见分布
7标准差
- 7.1案例
8协方差
- 8.1协方差性质
9Pearson相关系数
10峰度
11偏度

1概率论的基本概念

1.1排列数

从m个不同元素中取出n(n ≤ m)个元素(被取出的元素各不相同)，并按照一定的顺序排成一列(一般顺序是抽取出来的顺序)，叫做从m个不同元素中取出n个元素的一个排列。记作:A(m,n)
$A(m,n)=A_m^n=\frac{m!}{(m-n)!}$

1.1.1例子

在一个盒子中有十个完全相同的球，其中每个球上编有一个编号，球的编号从0到9，求随机抽取3个球，可能出现的数字序列共有多少种? (备注:考虑数字的顺序，认为1、2、3和3、2、1是不一样的)。
解：
$A_{10}^3=\frac{10!}{(10-3)!}=720$
总共10个球，抽取3个球的排列数:
第一步:从10个球中，获取一个球，有10种选择方式
第二步:从剩下的9个球中，获取一个球，有9种选择方式
第三步:从剩下的8个球中，获取一个球，有8种选择方式
合并这3步，就共有10 * 9 * 8种选择方式

1.2组合数

从m个不同元素中取出n(n ≤ m)个元素的所有组合的个数，叫做从m个不同元素中取出n个元素的组合数。记作:C(m,n)
$C(m,n)=C_m^n=\frac{m!}{(m-n)!n!}$

1.2.1例子

在一个盒子中有十个完全相同的球，其中每个球上编有一个编号，球的编号从0到9，求随机抽取3个球，可能出现的数字组合共有多少? (备注:不考虑数字的顺序，认为1、2、3和3、2、1是一样的)。
解：
$C_{10}^3=\frac{10!}{(10-3)!3!}=120$
总共10个球，抽取3个球的组合数:

抽取3个球的排列数为A(10, 3)
对于任意排列( $a_1,a_2,a_3$ )都有321种相同元素的排列存在
其实组合就是在排列的基础上去掉相同元素后剩下的数量

1.3古典概率

概率是以假设为基础的，即假定随机现象所发生的事件是有限的、互不相容的，而且每个基本事件发生的可能性相等。一般来讲，如果在全部可能出现的基本事件范围内构成事件A的基本事件有a个，不构成事件A的有b个，那么事件A出现的概率为: $P(A)=\frac{a}{a+b}$
概率体现的是随机事件A发生可能的大小度量(数值)

1.3.1例子

在一个盒子中有十个完全相同的球，其中五个黑球，五个白球，求事件A={从盒子中获取一个球，颜色是黑色}的概率。
解：
$P(A)=\frac{5}{10}=\frac{1}{2}$
基本的事件总数:10 抽取一个球是黑球的事件数:5

1.3.2例子2

假设有n个人，每个人都等可能地被分配到N个房间中的任意一间去住 (n≤N)，求事件A={恰好有n个房间，其中各住一个人}的概率
解：
$P(A)=\frac{N!}{N^n(N-n)!}$

每个人有N个房间可供选择，所以n个人住的方式共有 $N^n$ 种。
恰好n个房间表示这n个房间其实是从N个房间中任意抽取出来的，也就是从N个房间中抽取n个方法的组合总共有C(N,n)种。
对于n个房间来讲，n个人平均分配，那么总共有A(n,n)种入住方式。
$P(A)=\frac{C_N^nA_n^n}{N^n}=\frac{\frac{N!}{(N-n)!n!}n!}{N^n}=\frac{N!}{N^n(N-n)!}$

1.4联合概率

表示两个事件共同发生的概率，事件A和事件B的共同概率记作: P(AB)、P(A,B)或者P(A∩B)，读作“事件A和事件B同时发生的概率”

1.5条件概率

事件A在另外一个事件B已经发生的条件下的发生概率叫做条件概率，表示为P(A|B)，读作“在B条件下A发生的概率”
一般情况下P(A|B)≠P(A)，而且条件概率具有三个特性:

非负性
可列性
可加性

$P(A|B)=\frac{P(AB)}{P(B)}$

1.5.1例子1

两台车床加工同一种零件共100个，结果如下：

	合格品数	次品数	总计
第一台车床加工数	30	5	35
第二台车床加工数	50	15	65
总计	80	20	100

设A={ 从100个零件中任取一个是合格品}
B={从100个零件中任取一个是第一台车床加工的 }
求: $P (A), P (B), P (A B), P (A ∣ B)$
解：
$P(A)=\frac{80}{100},P(B)=\frac{35}{100},P(AB)=\frac{30}{100},P(A|B)=\frac{30}{35}\neq P(A)=\frac{80}{100}$
将条件概率公式由两个事件推广到任意有穷多个事件时，可以得到如下公式，假设A1，A2，…，An为n个任意事件(n≥2)，而且 P(A1A2…An)>0，则:
$P(A_1A_2...A_n)=P(A_1)P(A_2|A_1)...P(A_n|A_1A_2....A_{n-1})$

1.5.2例子2

袋中有一个白球与一个黑球，现每次从中取出一球，若取出白球，则除把白球放回外再加进一个白球，直至取出黑球为止.求取了n 次都未取出黑球的概率.
解：
设 B={取了n次都未取出黑球}
$A_i=\{第i次取出白球\}(i=1,...,n)$
则 $B=A_1A_2....A_n$
由乘法公式，我们有
$P(B)=P(A_1A_2...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1A_2).....P(A_n|A_1A_2...A_{n-1})=\\ \frac{1}{2}*\frac{2}{3}*\frac{3}{4}*....*\frac{n}{n+1}=\frac{1}{n+1}$

1.6全概率公式

样本空间Ω有一组事件A1、A2…An, 如果事件组满足下列两个条件，那么事件组称为样本空间的一个划分
设事件{ $A_j$ }是样本空间Ω的一个划分，且P(Ai)>0，
那么对于任意事件B，全概率公式为:
$P(B)=\sum_{i=1}^nP(A_i)P(B|A_i)$

1.6.1例子1

某小组有20名射手，其中一、二、三、四级射手分别为2、6、9、3名.又若选一、二、三、四级射手参加比赛，则在比赛中射中目标的概率分别为0.85、0.64、0.45、0.32，今随机选一人参加比赛，试求该小组在比赛中射中目标的概率.
设B={改小组在比赛中射中目标}
$A_i=\{选i级射手参加比赛\}(i=1,2,3,4)$
$P(B)=\sum_{i=1}^4P(A_i)P(B|A_i)=0.5275$

1.7贝叶斯公式

$P(A|B)=\frac{P(B|A)P(A)}{P(B)}$

1.7.1贝叶斯公式案例

一座房子在过去20年里一共发生过2次被盗案，房子的主人养了一条狗，狗平均每周晚上叫3次，在盗贼入侵时狗叫的概率估计为0.9，请求:在狗叫的时候发生入侵的概率是多少?
解：
设 $=\{狗叫\} \space B=\{盗贼入侵\}$
$P(A)=\frac{3}{7}\\ \space\\ P(B)=\frac{2}{20*365}=\frac{2}{7300}\\ \space\\ P(A|B)=0.9 \\ \space\\ P(B|A)=\frac{P(B|A)P(A)}{P(B)}=\frac{0.9*\frac{2}{7300}}{\frac{3}{7}}\approx0.00058$
P(A):在没有数据支持下，A发生的概率:先验概率或边缘概率。
P(A|B):在已知B发生后A的条件概率，也就是由于得自B的取值而被
称为A的后验概率。
P(B|A):在已知A发生的情况下的概率分布:似然函数。

2离散型随机变量及其分布律

2.1离散型随机变量的分布律与性质

2.1.1离散型随机变量的定义

如果随机变量 X 的取值是有限个或可列无穷个，则称 X 为离散型随机变量.

2.1.2离散型随机变量的分布律

设离散型随机变量 X 的所有可能取值为：
$x_1,x_2,x_3,...x_n,...$
并设 $P\{X=x_n\}=p_n(n=1,2,...)$
则称上式是离散型随机变量X的分布律

2.1.3离散型随机变量分布律的性质:

对任意的自然数n，有 $p_n \ge 0$ ;
$\sum_np_n=1$

2.1.4例子

将1枚硬币掷3次，令 X:出现的正面次数与反面次数之差.
试求：（1）X的分布律（2） $P\{0.5\le X\le3\}$
解：

$X$	-3	-1	1	3
$P_k$	$\frac{1}{8}$	$\frac{3}{8}$	$\frac{3}{8}$	$\frac{1}{8}$

$P\{0.5\le X \le3\}=P\{X=1\}=\frac{3}{8}$

2.2一些常用的离散型随机变量

2.2.1Bernoulli分布

$P\{X=k\}=p^k(1-p)^{1-k},k=0,1$
则称随机变量 X 服从参数为 p 的 Bernoulli分布.
记作 $X\sim B(1，p)其中参数为0\le p\le1$
Bernoulli分布也称作 0-1 分布或二点分布

2.2.2二项分布

如果随机变量 X 的分布律为
$P\{X=k\}=C_n^kp^k(1-p)^{n-k}(k=0,1,...,n)$
则称随机变量X 服从参数为 $(n ， p)$ 的二项分布
$\sim B(n，p)$

2.2.3例子

一大批产品的次品率为0.1，现从中取出15件.试求下列事件的概率:
$B=\{取出的15件产品中恰好有2件次品\}$
$C=\{取出的15件产品中至少有2件次品\}$
解：由于从一大批产品中取15件产品，故可近似看作是一15重Bernoulli试验.
$A=\{取出一件产品为次\}，则P(A)=0.1$
所以
$P(B)=C_15^2*0.1^2*0.9^{13}\\ P(C)=1-P(\bar C)=1-C_{15}^0*0.1^0*0.9^{15}-C_{15}^1*0.1*0.9^{14}$

2.2.4二项分布的分布形态

先是随着 k 的增大而增大，达到其最大值后再随着k 的增大而减少.这个使得 $P\{X=k\}$ 达到其最大值的 $k_0$ 称为该二项分布的最可能次数.

如果 $(n + 1) p$ 不是整数，则 $k_0=[(n+1)p]$
如果 $(n + 1) p$ 是整数，则 $k_0=(n+1)p或(n+1)p-1$

2.2.4.1例子

对同一目标进行300次独立射击，设每次射击时的命中率均为0.44，试求300次射击最可能命中几次? 其相应的概率是多少?
解：对目标进行300次射击相当于做300重Bernoulli 试验.令:
X 表示300射击中命中目标的次数.
则由题意可知 $\sim B(300,0.44)$
由于(300+1)*0.44=132.44不是整数
因此，最可能射击的命中的次数为 $k_0=[132.44]=132$
其相应的概率为：
$P\{X=132\}=C_{300}^{132}*0.44^{132}*0.56^{168}=0.04636$

2.2.5Poisson 分布

如果随机变量X 的分布律为:
$P\{X=k\}=\frac{\lambda^k}{k!}e^{-k}(k=0,1,2,....)$
则称随机变量 X 服从参数为λ的Poisson 分布.

2.2.5.1Poisson 分布的应用

Poisson分布是概率论中重要的分布之一.
自然界及工程技术中的许多随机指标都服从Poisson 分布.
例如，可以证明，电话总机在某一时间间隔内收到的呼叫次数，放射物在某一时间间隔内发射的粒子数，容器在某一时间间隔内产生的细菌数，某一时间间隔内来到某服务台要求服务的人数，等等，在一定条件下，都是服从Poisson分布的.

2.2.5.2例子

设每次射击命中目标的概率为0.012，现射击600次，求至少命中3次目标的概率(用Poisson分布近似计算).
解：设X为600次射击命中目标的次数,
则 $\sim B(600,0.012)$ 取 $\lambda=600*0.0.12=7.2$
$P\{X\ge3\}=1-P\{X<3\}=1-P\{X=0\}-P\{X=1\}-P\{X=2\}=\\ 1-e^{-7.2}-7.2e^{-7.2}-\frac{7.2^2}{2}e^{-7.2}=0.9745$

2.2.6几何分布

若随机变量 X 的分布律为
$P\{X=k\}=q^{k-1}p(k=1,2,...) 其中(p\ge0,q\ge0,p+q=1)$
则称随机变量X 服从参数为p的几何分布.

2.2.7超几何分布

如果随机变量 X 的分布律为
$P\{X=k\}=\frac{C_M^kC_{N-M}^{n-k}}{C_N^n}(k=0,1,....,min(M,n))$
其中N，M ，n均为自然数
则称随机变量X 服从参数为 $(N ， M ， n)$ 的超几何分布.

3连续型随机变量及其概率密度

3.1连续型随机变量的概念与性质

定义如果对于随机变量X 的分布函数F(x)，存在非负函数 f (x)，使得对于任意实数 x，有
$F(x)=\int_{-\infty}^{x}f(t)dt$
则称 X 为连续型随机变量，其中函数 f (x) 称为 X 的概率密度函数,简称概率密度.

3.2牛顿 – 莱布尼茨公式

设 $F (X)$ 是连续函数 $f (x)$ 在[a,b]上的一个原函数，则 $\int_{a}^{b}f(x)dx=F(b)-F(a)$

3.2.1例子

求 $\int_{-2}^{-1}\frac{1}{x}dx$

当 $x < 0$ 时，x的一个原函数是ln|x|
$\int_{-2}^{-1}\frac{1}{x}dx=[\ln|x|]_{-2}^{-1}=\ln1-\ln2=-\ln2$

连续型随机变量密度函数的性质与离散型随机变量分布律的性质非常相
似，但是，密度函数不是概率!

3.3指数分布

如果随机变量 X 的密度函数为
$\begin{cases} \lambda e^{-\lambda x} \space x>0\\ 0 \space x\le0 \end{cases}$
其中 $\lambda > 0$ 为常数，则称随机变量服从参数为 $\lambda$ 的指数分布.

3.4正态分布

如果连续型随机变量X的密度函数为
$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}其中-\infty<\mu<+\infty,\mu>0为参数$
则称随机变量X 服从参数为 $(\mu,\sigma^2)$ 的
正态分布.记作 $\sim N(\mu,\sigma^2)$

3.5标准正态分布

如果随机变量 $\sim N(0,1)$ ，则其密度函数为
$\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}(-\infty,+\infty)$
其分布函数为
$\Phi(x)=\int_{-\infty}^x\varphi(t)dt=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^xe^{-\frac{t^2}{2}}dt(-\infty<x<+\infty)$

4期望

期望(mean):也就是均值，是概率加权下的“平均值”，是每次可能结果的概率乘以其结果的总和，反映的实随机变量平均取值大小。常用符号 $\mu$ 表示
连续性: $E(x)=\int_{-\infty}^{+\infty}xf(x)dx$
离散型: $E(x)=\sum_ix_ip_i$

X	2	4	6	8	10
P(X)	0.2	0.2	0.2	0.2	0.2

$E(x)=\sum_ix_ip_i=2*0.2+4*0.2+6*0.2+8*0.2+10*0.2=6$
假设C为一个常数，X和Y实两个随机变量，那么期望有一下性质:
$\space \space E(CX)=CE(X)\\ E(X+Y)=E(X)+E(Y)$
如果X和Y相互独立，那么 $E (X Y) = E (X) E (Y)$

5方差

方差(variance)是衡量随机变量或一组数据时离散程度的度量，是用来度量随机变量和其数学期望之间的偏离程度。即方差是衡量数据源数据和期望均值相差的度量值。
$Var(X)=D(X)=\sigma^2=\frac{\sum(X-\mu)^2}{N}\\ D(X)=\sum_{i=1}^np_i*(x_i-\mu)^2\\ D(X)=\int_a^b(x-\mu)^2f(x)dx\\ D(X)=E((X-E(X))^2)=E(X^2)-(E(X))^2$

6常见分布

分布	参数	数学期望	方差
两点分布	0<p<1	p	p(1-p)
二项分布	$n\ge1,0<p<1$	np	np(1-p)
泊松分布	$\lambda>0$	$\lambda$	$\lambda$
均匀分布	$a < b$	(a+b)/2	$b-a)^2/12$
指数分布	$\theta>0$	$\theta$	$\theta^2$
正态分布	$\mu ,\sigma>0$	$\mu$	$\sigma^2$

7标准差

标准差(Standard Deviation)是离均值平方的算术平均数的平方根，常用 $\sigma$ 表示。标准差和方差都是测量离散趋势的最重要、最常见的指标。标准差和方差的不同点在于，标准差和变量的计算单位是相同的，比方差清楚，因此在很多分析的时候使用的是标准差。
$\sigma=\sqrt{D(X)}=\sqrt{\frac{\sum(X-\mu)^2}{N}}$

7.1案例

已知随机变量X的分布列如下，分别求 $E(X),E(2X+5),D(X),\sigma(X)$ 的值

X	-2	1	3
P	0.16	0.44	0.40

$E(X)=-2*0.16+1*0.44+3*0.40=1.32\\ E(2X+5)=2E(X)+5=2*1.32+5\\ D(X)=E(X^2)-(E(X))^2=2.9376\\ \sigma(X)=\sqrt{D(X)}\approx1.7139$

8协方差

协方差常用于衡量两个变量的总体误差;当两个变量相同的情况下，协方差其实就是方差。
如果X和Y是统计独立的，那么二者之间的协方差为零。但是如果协方差为零，那么X和Y是不相关的。
$Cov(X,Y)=E[(X-E(X))*(Y-E(Y))]=E[XY-XE(Y)-YE(X)+E(X)E(Y)]==\\E(XY)-E(X)E(Y)$

8.1协方差性质

$Cov(X,Y)=Cov(Y,X) \\ Cov(aX,bY)=abCov(X,Y)\\ Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
协方差是两个随机变量具有相同方向变化趋势的度量

若 $C o v (X, Y) > 0$ 则X和Y的变化趋势相同
若 $C o v (X, Y) < 0$ 则X和Y的变化趋势相反
若 $C o v (X, Y) = 0$ 则X和Y不相关，也就是变化没有什么相关性

9Pearson相关系数

协方差可以描述X和Y的相关程度，但是协方差的值和X/Y的值采用
的是不同的量纲，导致协方差在数值上表现出比较大的差异，因此
可以引入相关系数来表示X和Y的相关性。
$\rho(X,Y)=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$
当p(X,Y)=0的时候，称X和Y不线性相关.Pearson相关系数取值范围为[-1,1]。

10峰度

峰度(peakedness; kurtosis)又称峰态系数。表示了概率密度分布曲线在平均值处峰值高低的特征数，直观来讲，峰度反映的是峰部的尖度。
样本的峰度是和正态分布相比较而言的统计量，如果峰度值大于三，
那么峰的形状比较尖，比正态分布峰要陡峭。反之亦然。
峰度计算公式:随机变量的四阶中心矩与方差平方的比值。
$\frac{\sum_{i=1}^N(x_i-\bar x)^4}{(N-1)s^4}$

11偏度

偏度系数(skewness)是描述分布偏离对称性程度的一个特征数，当分布左右对称的时候，偏度系数为0，当偏度系数大于0时候，即重尾在右侧时，该分布为右偏;当偏度系数小于0时候，即重尾在左侧时，该分布为左偏。
偏度计算公式:随机变量的三阶中心矩与样本的平均离均差立方和
的比值。
$\frac{\sum_{i=1}^N(x_i-\bar x)^3}{(N-1)s^3}$

12切比雪夫不等式/切比雪夫定理

$P\{|X-\mu|\le\varepsilon\}\le\frac{\sigma^2}{\varepsilon^2}$
切比雪夫不等式的含义是:DX(方差)越小，时间{|X-μ|<ε}发生的概率就大，即:X取的值基本上集中在期望μ附近

13大数定律

设随机变量X1,X2,…,Xn是一列相互独立的随机变量(或者两两不相关)，并且分别存在期望E(Xk)和方差D(Xk)，对于任意小的正数ε，有:
$\lim_{n\to\infty}\{|\frac{1}{n}\sum_{k=1}^nX_k-\frac{1}{n}\sum_{k=1}^nE(X_k)|<\varepsilon\}=1$
当具有相同期望μ和方差为σ2的时候，对随机变量的均值:
$Y_n=\frac{1}{n}\sum_{i=1}^{n}X_i$
则有：
$\lim_{n\to\infty}P\{|Y_n-\mu|<\varepsilon\}=1$

13.1大数定律意义

大数定律的意义:随着样本容量n的增加，样本平均数将接近于总体平均数(期望μ)，所以在统计推断中，一般都会使用样本平均数估计总体平均数的值。
也就是我们会使用一部分样本的平均值来代替整体样本的期望/均值，出现偏差的可能是存在的，但是当n足够大的时候，偏差的可能性是非常小的，当n无限大的时候，这种可能性的概率基本为0。
大数定律的主要作用就是为使用频率来估计概率提供了理论支持。

14中心极限定理

中心极限定理的意义:设从均值为μ、方差为 $σ^2$ 有限的任意一个总体中抽取样本量为n的样本，当n充分大时，样本均值的抽样分布近似服从均值为 $μ / n$ 、方差为 $σ^2/n$ 的正态分布。
中心极限定理就是一般在同分布的情况下，抽样样本值的和在总体数
量趋于无穷时的极限分布近似与正态分布。
中心极限定理(Central Limit Theorem);假设{Xn}为独立同分布的随机变量序列，并具有相同的期望μ和方差为 $σ^2$ ，则{ $X_n$ }服从中心极限定
理，且 $Z_n$ 为随机序列{ $X_n$ }的规范和:
$Y_n=X_1+X_2+...+X_n=\sum_{i=1}^nX_i\\ Z_n=\frac{Y_n-E(Y_n)}{\sqrt{D(Y_n)}}=\frac{Y_n-n\mu}{\sqrt{n}\sigma}\to N(n\mu,n\sigma^2)$

15极大似然估计法

极大似然估计法是在总体的分布类型已知的条件下所使用的一种参数估计方法.
极大似然原理:一个随机试验有若干个可能结果A,B,C,…。若在一次试验中，结果A发生，则一般认为试验条件对A最有利，即A发生的概率 $\theta )$ 最大
对给定的样本值 $x_1,x_2,x_3,...,x_n)$ , $\prod_{i=0}^np(x_i,\theta)$ 是参数 $\theta$ 的函数，称为似然函数，记做 $L(\theta)$ 即 $L(\theta)=\prod_{i=1}^np(x_i;\theta)$

15.1连续型总体似然函数的求法

设X为连续型总体，其概率密度为:
$f(x;\theta)$
其中的 $\theta$ 未知，对来自总体的样本 $X_1,X_2,....,X_n)$ ，其观测值
为 $x_1,x_2,...,x_n)$ ，作为与总体X同分布且相互独立的n 维随机变量，样本的联合概率密度为:
$f(x_1,x_2,...,x_n)=f_{X_1}(x_1)f_{X_2}....f_{X_n}(x_n)=f(x_1,\theta)*f(x_2,\theta)....f(x_n,\theta)=\prod_{i=1}^nf(x_i,\theta)$
于是，样本 $X1,X2,..,X_n)$ 落入点 $x_1,x_2,....,x_n)$ 领域内的概率为 $\prod_{i=1}^nf(x_i,\theta)\varDelta x_i$ 由极大似然原理，最合理的 $\theta$ 的估计值 $\hat\theta$ 应该使 $\prod_{i=1}^nf(x_i,\theta)\varDelta x_i$ 达到最大，由于 $\varDelta x_i$ 是不依赖于 $\theta$ 的增量，所以我们只需要求使
$似然函数L(\theta)=\prod_{i=1}^nf(x_i,\theta)达到最大$

15.2例子

一个罐子里装有黑球和白球，有放回地抽取 n 个球，发现有 k 个黑球。试求罐子里黑球数与白球数之比 R 的极大似然估计量.
解：设罐中装有a只黑球b只白球，则 $R=\frac{a}{b}$
设
$X_i=\left\{ \begin{aligned} 1,第i次摸到黑球\\ 0,第i次摸到白球 \end{aligned} \right.$
则 $X_1,...,X_n是总体X\sim b(1,p)$ 的样本
其中 $p=P{X_i=1}=\frac{a}{a+b}=\frac{R}{1+R}$
似然函数：
$L(R)=\prod_{i=1}^np(x_i)=\prod_{i=1}^np^{x_i}(1-p)^{1-x_i}=\\ \prod_{i=1}^n(\frac{R}{1+R})^{x_i}(1-\frac{R}{1+R})^{1-x_i}=\\ (\frac{R}{1+R})^{\sum_{i=1}^nx_i}(1-\frac{R}{1+R})^{n-\sum_{i=1}^nx_i}$
$则\ln L=\sum_{i=1}^nx_i\ln(\frac{R}{1+R})+(n-\sum_{i=1}^nx_i)\ln(\frac{R}{1+R})=\\ \sum_{i=1}^nx_i[\ln R-\ln(1+R)]-(n-\sum_{i=1}^nx_i)\ln(1+R)]$
令
$\frac{d\ln L}{dR}=0,则\sum_{i=1}^nx_i(\frac{1}{R}-\frac{1}{1+R})-(n-\sum_{i=1}^nx_i)\frac{R}{1+R}=0$
解出
$\hat R=\frac{\sum_{i=1}^nx_i}{n-\sum_{i=1}^nx_i}=\frac{k}{n-k}$