李宏毅机器学习（四）

1.从基础概率推导到贝叶斯公式

首先需要了解概率的概念:概率是对随机事件发生的可能性的度量，在0-1之间表示事件发生可能性的大小，越接近1表示随机事件发生的可能性越大。

其次需要了解条件概率的概念：条件概率是指事件A在另一个事件B已经发生的条件下发生的概率，用P(A|B)来表示。如果两个事件相互独立，意味着事件B的发生和事件A的发生没有关系，此事P(AB) = P(A)P(B)。

然后是关于联合概率的概念：联合概率表示两个事件共同发生的概率。比如A和B共同发生的联合概率可以表示为P(AB)或P(A,B)

常用的数学公式是：

  最后我们需要了解的是全概率公式的含义，就是对于一个复杂的事件A，在无法直接求得P(A)的情况下，通过 计算由相关事件组到达A的概率之和来表示事件A发生的概率，就是全概率公式，公式为P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + ... + P(A|Bn)*P(Bn).

最后来说一下我们如何推导出贝叶斯公式，贝叶斯公式是建议在条件概率的基础上去寻找事件发生的原因，如大事件A以及发生的条件下，分割中小事件的概率。。Bi 常被视为导致试验结果A发生的”原因“，P(Bi)(i=1,2,...)表示各种原因发生的可能性大小，故称先验概率；P(Bi|A)(i=1,2...)则反映当试验产生了结果A之后，再对各种原因概率的新认识，故称后验概率。

2.先验概率

先验概率是指无需经验或先于经验获得的知识，根据以往经验和分析得到的概率，比如抛硬币中我们一般的认知就是得到正面的概率是0.5，这就是先验概率，而在实际的抛硬币过程中，我们根据得到的结果的前提下得到正面的概率就是后验概率。

3.后验概率

后验概率就是基于新的信息来修正原来的先验概率后所获得的更接近实际情况的概率估计。通常就用贝叶斯公式来计算后验概率。

4.LR和Linear Regression的区别

• logistic回归和linear回归都是广义的线性回归
• 线性回归是利用最小二乘法来对数据进行拟合的一种方法，而logistic回归是在线性回归的基础上套用了一层激活函数来将输出的结果控制在0-1之间来表示分类的概率大小
• 逻辑回归的优化目标是似然函数，而线性回归的优化目标是均方误差

5.推导sigmoid function公式

视频和书里没有找到具体的推导方式，看到的是直接就用的sigmoid函数