机器学习入门 _概率论

最新推荐文章于 2024-01-07 02:05:53 发布

山野闲者

最新推荐文章于 2024-01-07 02:05:53 发布

阅读量268

点赞数

分类专栏： deep learning Algorithm

本文链接：https://blog.csdn.net/lantuxin/article/details/83386516

版权

deep learning 同时被 2 个专栏收录

14 篇文章 0 订阅

订阅专栏

Algorithm

7 篇文章 0 订阅

订阅专栏

最大似然估计：

前提1：一定量样本

前提2：已知概率分布模型

结果：最大化类似当前分布的估计，最大化当前事件发生的概率（如从盒子中取出小球的概率）

一个在已知观察结果（即样本）和给定概率分布模型的基础上，估计概率分布模型的参数，并使得在该参数下，生成这个已知样本的可能性最大的方法。（条件：样本+概率分布模型，结果：最可能接近已知样本）

简单描述：最大似然估计就是去找参数估计值，使得已经观察到的样本值发生概率最大。

求解步骤：

step1：根据设定概率模型，写出联合概率形式的似然函数
step2：对似然函数取对数，并整理
step3：求导数或偏导数，并赋值为0
step4：求解方程

参考网站：https://www.sohu.com/a/208191273_697750

伯努利分布：

$f(x_{i};p)=p^{x_{i}}(1-p)^{1-x_{i}}$ （要么有 $x_{i}=1$ ，要么没有 $x_{i}=0$ ，就是二项分布）

逻辑回归：

为什么损失函数使用对数形式？根据极大似然估计的的概念演化过来的https://blog.csdn.net/saltriver/article/details/63683092

1）模型： $P(y = 1|x;\theta ) = \frac{1}{{1 + {e^{ - z}}}} = \frac{1}{{1 + {e^{ - ({\theta _0} + {\theta _1}{x_1} + {\theta _2}{x_2} + {\theta _3}{x_3} + {\theta _4}{x_4})}}}} = \frac {1} {1 + e^{ - \theta ^Tx}}$

2）损失函数： $\cos t(y,p(y|x)) = \left\{ \begin{array}{l} - \log p(y|x){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} y = 1\\ - \log (1 - p(y|x)){\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} if{\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} {\kern 1pt} y = 0 \end{array} \right.$