机器学习笔记_数学基础_2-概率论

原创 2015年11月18日 00:28:59

概率论

  • 概率: P(X)[0,1]=>
  • 累积分布函数 Φ(x)=P(x)(xx0)

古典概率

  • 排列 Pnr=n(n1)(n2)(nr+1)
  • 组合 Cnr=Pnrr!=n!r!(nr)! (排列是组合的r!倍)
  • 装箱: n个相异物分为k堆,各堆得物件数分别是r1,r2,,rk的分法是
    n!r1!rk!

概率

  • 条件概率 P(A|B)=P(AB)P(B)
  • 全概率 P(A)=iP(A|Bi)P(Bi)
  • 贝叶斯 P(Bi|A)=P(A|Bi)P(Bi)iP(A|Bi)P(Bj)

分布<离散>

  • 0-1 分布
X 1 0
p p 1-p

  • 二项分布
    P{X=k}=(nk)pk(1p)nk;(k=0,1,,n)

  • 泊松分布 Xπ(λ)
    P{X=k}=λkk!eλ

  • 泊松逼近
    (1) 二项分布中n次伯努利,k次成功, n-k次失败的概率
    b(k;n,p)=(nk)pkqnk
    (2) λ=np; n很大,p很小;泊松分布是二项分布的近似
    (3) 泰勒展开(归纳法得到泊松分布)


  • 几何分布
    重复试验到首次成功的概率: P{X=k}=(1p)n1p
  • 超几何分布
    设坛子共N个球,其中m个白球,N-m个黑球,从中随机的(无放回)取出n个球,令X表示取出来的白球数,
    P{X=i}=(mi)(Nmni)(Nn)

    分布<连续>

  • 均匀分布

  • 指数分布(无记忆性)

  • 正态分布: XN(μ,σ2)

    f(x)=12πe(xμ)22σ2; σ>0,<x<+;

  • 二项分布的正态近似
    (1) 棣莫佛-拉普拉斯: n充分大时,参数(n,p)的二次分布可以由正态分布近似
    (2) n较大,p较小 => 泊松分布
    np(1p)较大 => 正态分布


指数分布族

概率密度函数可以表示为如下:
f(x|p)=h(x)c(θ)exp(kiωi(θ)ti(x))

  • 二项分布

f(x|p)=(nx)px(1p)nx=(nx)(1p)n(p1p)x=(nx)(1p)nexp(log(p1p)x)

h(x)=(nr),x=0,,n
c(p)=(1p)n,o<p<1
t1=x
ω1(p)=log(p1p),o<p<1


  • logist函数(k=1) => f(x|p)=h(x)c(p)exp[ω1(p)t1(x)]

    η=log(p1p) => p=11+ex

    logist函数: f(x)=11+ex

    f(x)=(11+ex)=f(x)(1f(x))


  • 正态分布的指数族(k=2) => f(x|μ,σ2)=h(x)c(μ,σ)exp[ω1(μ,σ)t1(x)+ω2(μ,σt2(x))]

    f(x|μ,σ2)=12πexp((xμ)22σ2)=12πexp(μ22σ2)exp(x22σ2+μxσ2)

h(x)=1
c(θ)=c(μ,σ)=12πexp(μ22σ2)
ω1(μ,σ)=1σ2;ω2(μ,σ)=μσ2
t1(x)=x22;t2(x)=x

版权声明:本文为博主原创文章,未经博主允许不得转载。

机器学习笔记——基础数学篇

机器学习里面包括很多数学内容。高中及大学的数学知识都还给老师了。最近跟着视频学习中,发现总结的很好。下面将我的学习笔记记录下来。如有雷同,那可能我们看的是同一视频。笔记内容仅代表我个人的理解,如有错误...
  • wang___bing
  • wang___bing
  • 2017年02月18日 18:51
  • 71

为什么要重视数学?机器学习需要哪些数学基础?

原文  http://www.jiqizhixin.com/article/2354 本文标签:   机器学习 TensorFlow fastNeuralStyle MOOC REST   服务器...
  • littlesmallless
  • littlesmallless
  • 2017年03月01日 22:23
  • 672

机器学习经典书籍--入门书-入门--深入--数学基础

转之    http://suanfazu.com/t/topic/15 前面有一篇机器学习经典论文/survey合集209。本文总结了机器学习的经典书籍,包括数学基础和算法理论的书...
  • pandav5
  • pandav5
  • 2016年03月29日 10:24
  • 5129

机器学习笔记(一)微积分

微积分@(Machine Learning)[微积分, 概率论]1.夹逼定理:当x∈U(x0,r)x \in U(x_0,r)时,有g(x)≤f(x)≤h(x)g(x)\leq f(x)\leq h(...
  • IOThouzhuo
  • IOThouzhuo
  • 2016年01月13日 20:13
  • 1161

机器学习中概率论知识复习

机器学习先验知识概率论部分
  • u012566895
  • u012566895
  • 2016年05月05日 11:23
  • 6305

机器学习中用到的数学知识

原文 http://www.cnblogs.com/dudi00/p/4056451.html 本文主要介绍学习机器学习过程中涉及到的一些微积分的基本概念,也包括部分数值分析,优化求解的概念。 ...
  • u013378306
  • u013378306
  • 2016年09月07日 19:43
  • 4787

机器学习预备知识之概率论(上)

机器学习必需的概率论知识
  • sky_walker85
  • sky_walker85
  • 2014年11月15日 21:27
  • 3672

AI-深度学习框架-应用数学和机器学习基础

AI-深度学习框架-应用数学和机器学习基础 矩阵、多项式、群论 标量、向量、矩阵和张量 乘矩阵和向量 恒等矩阵和逆矩阵 线性相关和跨度 范式理论 范式...
  • leemboy
  • leemboy
  • 2017年12月17日 21:37
  • 43

机器学习部分数学基础

本文涉及矩阵,基本优化方法(拉格朗日,梯度下降,牛顿方法等)对一些常见方法的进行总结记录。...
  • zackzhaoyang
  • zackzhaoyang
  • 2016年04月07日 15:32
  • 759

编程和数学基础不佳如何入门人工智能?

一、人工智能的发展现状1.1 概念根据维基百科的解释,人工智能是被机器展示的智力,与人类和其他动物的自然智能相反,在计算机科学中 AI 研究被定义为 “代理人软件程序”:任何能够感受周围环境并且能最大...
  • R1uNW1W
  • R1uNW1W
  • 2017年12月15日 00:00
  • 215
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_数学基础_2-概率论
举报原因:
原因补充:

(最多只允许输入30个字)