深度学习（花书）笔记3——参数估计、回归分析

第一部分  参数估计

1. 概率

        常见的概率类型有条件概率、先验概率、后验概率和联合概率。

1.1 条件概率

        在一系列的事件发生中，如果事件A和事件B都有可能发生，如果事件A的发生与事件B的发生之间存在着某种关系，如当事件B发生的情况下，事件A发生的概率，可以表达为P（AIB），这就是条件概率的表达公式，同时此刻的事件B的值则被称作事件A的后验概率。

1.2 先验概率

        先验概率的另一个名字叫做边缘概率，如果事件A和事件B都有发生，则P（A）可以被称为事件A的先验概率，先验概率是一种相对独立的概率，也就是说两个事件的发生没有联系，都是独立发生，事件A发生与否丝毫不影响事件B的发生。

1.3 联合概率

        联合概率是指两个事件同时发生的概率。如果事件A和事件B都有发生，则P（AB）表示A、B两个事件同时发生的概率。

2. 贝叶斯定理

        通常，事件A在事件B发生的条件下的概率，与事件B在事件A发生的条件下的概率是不一样的࿰