概率学基础复习-2017年8月14日11:29:26

 

10.

朴素贝叶斯：

http://www.cnblogs.com/leoo2sk/archive/2010/09/17/naive-bayesian-classifier.html

 

9.

在构造初期将训练数据一分为二，用一部分构造分类器，然后用另一部分检测分类器的准确率。

 

8.

对于分类问题，其实谁都不会陌生，说我们每个人每天都在执行分类操作一点都不夸张，只是我们没有意识到罢了。例如，当你看到一个陌生人，你的脑子下意识判断TA是男是女；你可能经常会走在路上对身旁的朋友说“这个人一看就很有钱、那边有个非主流”之类的话，其实这就是一种分类操作。

      从数学角度来说，分类问题可做如下定义：

      已知集合：和，确定映射规则，使得任意有且仅有一个使得成立。（不考虑模糊数学里的模糊集情况）

      其中C叫做类别集合，其中每一个元素是一个类别，而I叫做项集合，其中每一个元素是一个待分类项，f叫做分类器。分类算法的任务就是构造分类器f。

      这里要着重强调，分类问题往往采用经验性方法构造映射规则，即一般情况下的分类问题缺少足够的信息来构造100%正确的映射规则，而是通过对经验数据的学习从而实现一定概率意义上正确的分类，因此所训练出的分类器并不是一定能将每个待分类项准确映射到其分类，分类器的质量与分类器构造方法、待分类数据的特性以及训练样本数量等诸多因素有关。

      例如，医生对病人进行诊断就是一个典型的分类过程，任何一个医生都无法直接看到病人的病情，只能观察病人表现出的症状和各种化验检测数据来推断病情，这时医生就好比一个分类器，而这个医生诊断的准确率，与他当初受到的教育方式（构造方法）、病人的症状是否突出（待分类数据的特性）以及医生的经验多少（训练样本数量）都有密切关系。

 

7.

线性回归？：输出值是连续的？

线性分类？：输出值是不连续的，比如输出只能是0或1

6.

贝叶斯定理能够告知我们如何利用新证据修改已有的看法。作为一个普遍的原理，贝叶斯定理对于所有概率的解释是有效的；通常，事件A在事件B（发生）的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系，贝叶斯定理就是这种关系的陈述。

        设P(A|B)表示事件B已经发生的前提下，事件A发生的概率，叫做事件B发生下事件A的条件概率。下面就是贝叶斯公式：                

其中的符号定义为：

• P(A)是事件A的先验概率或边缘概率，它不考虑任何B方面的因素。
• P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。
• P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。
• P(B)是事件B的先验概率或边缘概率，也作标准化常量（normalizing constant）。

　　按这些术语，贝叶斯定理可表述为：后验概率 = (相似度*先验概率)/标准化常量。简单的讲，贝叶斯定理是基于假设的先验概率，给定假设条件下，观察到不同数据的概率，提供一种计算后验概率的方法。

　　贝叶斯决策就是在不完全的信息下面，对部分未知的状态用主观概率来进行估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是：

1、已知类条件概率密度参数表达式和先验概率。

2、利用贝叶斯公式转换成后验概率。

3、根据后验概率大小进行决策分类。

　　贝叶斯的这种基本思想可以在大量的实际案例中得到使用，因为很多现实社会中，积累了很多历史先验数据，想进行一些决策推理，也可以说是预测，就可以按照上面的步骤进行，当然贝叶斯理论的发展中，出现了很多新的推理算法，更加复杂，和面向不同的领域。一般来说，使用贝叶斯推理就是，预测某个事件下一次出现的概率，或者属于某些类别的概率，使用贝叶斯来进行分类的应用应该是最广泛的，很多实际的推理问题也可以转换为分类问题

5.

此处贝叶斯分析的框架也在教我们如何处理特例与一般常识的规律。如果你太注重特例（即完全不看先验概率） 很有可能会误把噪声看做信号， 而奋不顾身的跳下去。 而如果恪守先验概率， 就成为无视变化而墨守成规的人。其实只有贝叶斯流的人生存率会更高， 因为他们会重视特例， 但也不忘记书本的经验，根据贝叶斯公式小心调整信心，甚至会主动设计实验根据信号判断假设，这就是我们下一步要讲的。

 

4.

概率P(AB)怎么算
P(A)=0.4,P(B)=0.6,P(AB)=?怎么求的呢?

A:

P(AB)表示A和B同时发生的概率,如果A,B相互独立,则P(AB)=P(A)*P(B); 如果A,B不是相互独立,则P(AB)=P(B|A)*P(A);

P(B|A)是发生了A事件后，再发生B事件的概率。所以是A、B同时发生的事件数量÷A事件发生的数量，
当P(A)>0，P(B|A)=P(AB)/P(A)

3.

P（AB）是AB同时发生的概率，是以全体事件为100%来计算其中AB同时发生的概率。
P（B|A）是在已经发生了A事件的前提下，再发生B事件的概率。是以所有发生A事件为100%来计算AB同时发生的概率。

1.

贝叶斯公式：

我们来算一算：假设学校里面人的总数是 U 个。60% 的男生都穿长裤，于是我们得到了 U * P(Boy) * P(Pants|Boy) 个穿长裤的（男生）（其中 P(Boy) 是男生的概率 = 60%，这里可以简单的理解为男生的比例；P(Pants|Boy) 是条件概率，即在 Boy 这个条件下穿长裤的概率是多大，这里是 100% ，因为所有男生都穿长裤）。40% 的女生里面又有一半（50%）是穿长裤的，于是我们又得到了 U * P(Girl) * P(Pants|Girl) 个穿长裤的（女生）。加起来一共是 U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl) 个穿长裤的，其中有 U * P(Girl) * P(Pants|Girl) 个女生。两者一比就是你要求的答案。

下面我们把这个答案形式化一下：我们要求的是 P(Girl|Pants) （穿长裤的人里面有多少女生），我们计算的结果是 U * P(Girl) * P(Pants|Girl) / [U * P(Boy) * P(Pants|Boy) + U * P(Girl) * P(Pants|Girl)] 。容易发现这里校园内人的总数是无关的，可以消去。于是得到

P(Girl|Pants) = P(Girl) * P(Pants|Girl) / [P(Boy) * P(Pants|Boy) + P(Girl) * P(Pants|Girl)]

注意，如果把上式收缩起来，分母其实就是 P(Pants) ，分子其实就是 P(Pants, Girl) 。而这个比例很自然地就读作：在穿长裤的人（ P(Pants) ）里面有多少（穿长裤）的女孩（ P(Pants, Girl) ）。

上式中的 Pants 和 Boy/Girl 可以指代一切东西，所以其一般形式就是：

P(B|A) = P(A|B) * P(B) / [P(A|B) * P(B) + P(A|~B) * P(~B) ]    ~B就是非B

收缩起来就是：

P(B|A) = P(AB) / P(A)

其实这个就等于：

P(B|A) * P(A) = P(AB)

难怪拉普拉斯说概率论只是把常识用数学公式表达了出来。

然而，后面我们会逐渐发现，看似这么平凡的贝叶斯公式，背后却隐含着非常深刻的原理。

 

2.

概率的加法法则

编辑

定理：设A、B是互不相容事件（AB=φ），则：

P（A∪B）=P（A）+P（B）

推论1：设A1、 A2、…、 An互不相容，则：P(A1+A2+...+ An)= P(A1) +P(A2) +…+ P(An)

推论2：设A1、 A2、…、 An构成完备事件组，则：P(A1+A2+...+An)=1

推论3： 

 

为事件 A的对立事件。

推论4：若B包含A，则P(B－A)= P(B)－P(A)

推论5（广义加法公式）：

对任意两个事件A与B，有P(A∪B)=P(A)+P(B)－P(AB)[1]  

条件概率

条件概率：已知事件B出现的条件下A出现的概率，称为条件概率，记作：P(A|B)

条件概率计算公式：

当P(A)>0，P(B|A)=P(AB)/P(A)

当P(B)>0，P(A|B)=P(AB)/P(B)[1]  

乘法公式

P(AB)=P(A)×P(B|A)=P(B)×P(A|B)

推广：P(ABC)=P(A)P(B|A)P(C|AB)[1]  

　　

全概率公式

设：若事件A1，A2，…，An互不相容，且A1+A2+…+An=Ω，则称A1，A2，…，An构成一个完备事件组。

全概率公式的形式如下：

 

以上公式就被称为全概率公式。[2]  

 

转载于:https://www.cnblogs.com/x-poior/p/7356892.html