PRML 第二章 二项分布

翻译 2016年05月31日 10:13:23

    最近在啃PRML这本书,打算把它好好看几篇。今天就先从概率分布中最简单的二项分布开始。

2.1 伯努利分布

  有一个硬币,其正面朝上的概率(= 1记作参数µ,因此: f(x= 1 |µ) =µ,f(x= 0 | µ) = 1 µ.x的概率分布因此可以写成:这被叫做伯努利分布( Bernoulli distribution).

     1.伯努利分布的期望和方差

                                       期望:
                                                                               
                                       方差:
                                           

                                                                                              

    2. 最大似然 

  假设我们有一个x的观测值数据集。假设每次观测都是独地从p(x | µ)中抽取的,因此我们可以构造关于µ的似然函数如下:

                 

  在频率学家的观点中,µ 被认为是固定的参数,它的值可以通过估计可能的数据集D的概率分布来得到。反,从贝叶斯的观点来看,只有一个数据集D(即实际观测到的数据集),参数的不确定性通µ的概率分布来表达。

  频率学家广泛使用的一个估计是最大似然估计,其中µ 的值是使似然函数达到最大值的值。这对应于选择使观察到的数据集出现概率最大的µ的值。

    最大化似然函数,等价于最大化似然函数的对数(方便把连乘的形式转化成求和),于是得下式:

                                                                       

                                 

                                                           

                                  

(2.2)对参数 µ 求导,并令导数为零,可使得(2.2)式取得最大值:

                                 

  因此在最大似然的框架中,正面朝上的概率是数据集中正面向上的次数占数据集总次数的比例。

  3.最大似然存在的问题(为了引出后面的beta分布及最大后验等相关知识)

  现在假设我们扔一个硬币3次,碰巧3次都是正面朝上。那么N= m = 3,(m为正面向上的次数,N为实验的总次数)且µML= 1。这种情况下,最大似然的结果会预测所有未来的观测值都是正面向上。常识告诉我们这个是不合理
的。事实上,这是最大似然中过拟合现象的一个极端例子。在下一节中,通过引如µ的先验分布,会得到一个更合理的结论。

2.2 二项分布

  假设我们独立的扔了N次硬币,其中 x= 1的观测出现的次数为m,= 1观测出现的概率为µ,= 1观测出现的概率为1-µ。那么x= 1的观测出现的数量m的概率分布为:

                             

这被称为二项分布(binomial distribution).

  1.二项分布的期望和方差
   期望:
       
因为:,所以: 
又因为:相互独立,所以:
   方差:
       同理:
           


PRML 第二章 高斯分布

这一部分完全看不懂,数学功力不够,先占个位子,以后回来再补上。
  • u014333209
  • u014333209
  • 2016年06月12日 11:33
  • 232

PRML 公式1.118推导

虽然文中详细的说明了利用Jensen不等式证明。但是可能有的还是不清除。下面给出推导过程:已知 : f(E[x])f(E[q(x)p(x)])≤E[f(x)]≤E[f(q(x)p(x))]\begi...
  • xuluhui123
  • xuluhui123
  • 2017年06月20日 20:14
  • 337

<机器学习>(周志华)读书笔记 -- 第二章 模型评估与选择

2.1  经验误差与过拟合 通常,我们使用"错误率"来表示分类中错误的样本占总样本的比例.如果m个样本中有a个错误样本则错误率E=a/m ,对应的,1-a/m称为精度,即"精度"=1-"错误率".更一...
  • geng333abc
  • geng333abc
  • 2017年02月13日 15:55
  • 678

周志华-机器学习-第二章

这一章讲解了如何评估模型的参数的方法:主要有(1)使用留出法,交叉验证法,自助法来进行选择训练集与测试集。值得注意的是:当我们用训练集获得了相应的模型,应该利用整个数据集重新训练一次模型,这个才是我们...
  • pp634077956
  • pp634077956
  • 2017年01月19日 16:18
  • 535

PRML 第二章 Beta分布

学习Beta分布之前,先补充一下几个相关的基础知识。 1. 共轭分布 如果后验分布和先验分布具有相同的函数形式,则先验和后验叫做共轭分布,并且先验叫做似然的共轭先验。 2. ...
  • u014333209
  • u014333209
  • 2016年05月31日 17:39
  • 240

PRML 第二章 狄利克雷分布

狄利克雷分布的引入 Beta分布是二项式分布的共轭先验分布,狄利克雷分布是多项分布的共轭先验分布。 Dirichlet分布可以看做是分布之上的分布。如何理解这句话,我们可以先举个例子:假设我们有一个...
  • u014333209
  • u014333209
  • 2016年06月06日 22:23
  • 691

PRML读书笔记-我对机器学习的认识

最近有时间把Christopher M Bishop的《Pattern Recognition and Machine Learning》(PRML)温习了一遍,这本书可以说是机器学习的经典学习之作。...
  • Richard_More
  • Richard_More
  • 2016年10月08日 19:42
  • 2775

prml读书笔记-第二章

多元正太分布: 条件高斯分布和边缘高斯分布的公式: 给定x的边缘分布和y在x条件下的条件分布,可以求得...
  • LZY7977
  • LZY7977
  • 2017年12月13日 11:23
  • 14

为什么叫二项分布,又为什么叫多项分布?

二项式分布是随机独立事件的可能结果是2个,对于这2个结果的概率分布;因此,多项式分布是随机独立事件的可能结果是多个(大于2个),对于多个可能结果的概率分布;伯努利分布是随机独立事件的结果为0和1两种情...
  • xiaolang85
  • xiaolang85
  • 2016年06月17日 09:03
  • 1322

PRML第二章笔记

PRML 概率分布
  • u014248127
  • u014248127
  • 2017年12月11日 21:35
  • 2014
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:PRML 第二章 二项分布
举报原因:
原因补充:

(最多只允许输入30个字)