关闭

机器学习笔记_数学基础_2-概率论

295人阅读 评论(0) 收藏 举报
分类:

概率论

  • 概率: P(X)[0,1]=>
  • 累积分布函数 Φ(x)=P(x)(xx0)

古典概率

  • 排列 Pnr=n(n1)(n2)(nr+1)
  • 组合 Cnr=Pnrr!=n!r!(nr)! (排列是组合的r!倍)
  • 装箱: n个相异物分为k堆,各堆得物件数分别是r1,r2,,rk的分法是
    n!r1!rk!

概率

  • 条件概率 P(A|B)=P(AB)P(B)
  • 全概率 P(A)=iP(A|Bi)P(Bi)
  • 贝叶斯 P(Bi|A)=P(A|Bi)P(Bi)iP(A|Bi)P(Bj)

分布<离散>

  • 0-1 分布
X 1 0
p p 1-p

  • 二项分布
    P{X=k}=(nk)pk(1p)nk;(k=0,1,,n)

  • 泊松分布 Xπ(λ)
    P{X=k}=λkk!eλ

  • 泊松逼近
    (1) 二项分布中n次伯努利,k次成功, n-k次失败的概率
    b(k;n,p)=(nk)pkqnk
    (2) λ=np; n很大,p很小;泊松分布是二项分布的近似
    (3) 泰勒展开(归纳法得到泊松分布)


  • 几何分布
    重复试验到首次成功的概率: P{X=k}=(1p)n1p
  • 超几何分布
    设坛子共N个球,其中m个白球,N-m个黑球,从中随机的(无放回)取出n个球,令X表示取出来的白球数,
    P{X=i}=(mi)(Nmni)(Nn)

    分布<连续>

  • 均匀分布

  • 指数分布(无记忆性)

  • 正态分布: XN(μ,σ2)

    f(x)=12πe(xμ)22σ2; σ>0,<x<+;

  • 二项分布的正态近似
    (1) 棣莫佛-拉普拉斯: n充分大时,参数(n,p)的二次分布可以由正态分布近似
    (2) n较大,p较小 => 泊松分布
    np(1p)较大 => 正态分布


指数分布族

概率密度函数可以表示为如下:
f(x|p)=h(x)c(θ)exp(kiωi(θ)ti(x))

  • 二项分布

f(x|p)=(nx)px(1p)nx=(nx)(1p)n(p1p)x=(nx)(1p)nexp(log(p1p)x)

h(x)=(nr),x=0,,n
c(p)=(1p)n,o<p<1
t1=x
ω1(p)=log(p1p),o<p<1


  • logist函数(k=1) => f(x|p)=h(x)c(p)exp[ω1(p)t1(x)]

    η=log(p1p) => p=11+ex

    logist函数: f(x)=11+ex

    f(x)=(11+ex)=f(x)(1f(x))


  • 正态分布的指数族(k=2) => f(x|μ,σ2)=h(x)c(μ,σ)exp[ω1(μ,σ)t1(x)+ω2(μ,σt2(x))]

    f(x|μ,σ2)=12πexp((xμ)22σ2)=12πexp(μ22σ2)exp(x22σ2+μxσ2)

h(x)=1
c(θ)=c(μ,σ)=12πexp(μ22σ2)
ω1(μ,σ)=1σ2;ω2(μ,σ)=μσ2
t1(x)=x22;t2(x)=x

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:105212次
    • 积分:6714
    • 等级:
    • 排名:第3493名
    • 原创:589篇
    • 转载:2篇
    • 译文:0篇
    • 评论:2条
    最新评论