极大似然估计法推出朴素贝叶斯法中的先验概率估计公式（转载）

最新推荐文章于 2022-05-17 18:21:41 发布
最新推荐文章于 2022-05-17 18:21:41 发布
阅读量1.4k 收藏 3
点赞数 1
分类专栏： AI
令参数 P(Y=c_k)=\theta_k，其中 k\in \left\{ 1,2..K \right\} 。

那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 P(Y)=\sum_{k=1}^{K}{\theta_k} I(Y=c_k)，I是指示函数 Y=c_k成立时，I=1；否则I=0。


极大似然函数 L(\theta_k;y_1,y_2..y_N)=\prod_{i=1}^{N}P(y_i) =\prod_{k=1}^{K}\theta_k^{N_k} ，其中N为样本总数， N_k为样本中 Y=c_k的样本数目，取对数得到 l(\theta_k)=ln(L(\theta))=\sum_{k=1}^{K}{N_k ln\theta_k} ，


要求该函数的最大值，注意到约束条件 \sum_{k=1}^{K}{\theta_k} =1可以用拉格朗日乘子法，即 l(\theta_k,\lambda)=\sum_{k=1}^{K}{N_k ln\theta_k} +\lambda(\sum_{k=1}^{K}{\theta_k} -1)，求导就可以得到： \frac{N_k}{\theta_k}+\lambda=0 联立所有的k以及约束条件得到 \theta_k=\frac{N_k}{N} ，完毕



作者：Fisher
链接：https://www.zhihu.com/question/33959624/answer/93958363
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

lixg88888888
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ML.m.zip_ML 分类_估计均值_均值 估计_均值ml_极大似然估计法
07-14
在贝叶斯分类中,用极大似然估计法估计概率分布的均值和方差
PR代码及资料.zip_最大似然估计_贝叶斯_贝叶斯 身高
09-21
1. 以身高为例，画出男女生身高的直方图并做对比； 2. 采用最大似然估计方法，求男女生身高以及体重分布的参数； 3. 采用贝叶斯估计方法，求男女生身高以及体重分布的参数（注明自己选定的参数情况）； 4. 采用最小错误率贝叶斯决策，画出类别判定的决策面。并判断某样本的身高体重分别为(160,45)时应该属于男生还是女生？为(178,70)时呢？
基于最大似然估计与朴素贝叶斯的WSN故障检测
10-17
WSN中的故障节点导致网络的数据传递延迟与能耗增加，同时可引起网络拥塞等问题，对此提出一种基于最大似然估计与朴素贝叶斯分析器的WSN故障节点诊断与定位算法。首先，从数据包的协议部分提取大量特征作为训练数据集，从中估算边际概率并建立朴素贝叶斯分类器，使用最大似然估计估算条件概率。检测阶段则通过判断传输延迟是否满足阈值条件来决定可疑节点，然后使用朴素贝叶斯分类器检测故障节点，最终将节点成功进行分类。
李航《统计学习方法》第4章习题答案参考
iwanthn的博客
07-25 5968
李航《统计学习方法》课后习题解答
统计学习方法——朴素贝叶斯
刘炫320的博客
04-13 2179
0.写在前面朴素贝叶斯实际上是非常简单的一种机器学习方法，我们在之前的很多地方都讲过了，所以这里我们不再阐述具体的原理，可以移步：朴素贝叶斯。 但是，对于讨论班里，争论最多的就是课后的2个习题，因此，我们重点放在这两个习题上。他们分别是： 4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式（4.8）及公式（4.9）。 4.2 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式（4.10
朴素贝叶斯算法-公式加实例
qq_1763467007的博客
05-17 1890
朴素贝叶斯法概述、联合概率分布、条件概率 conditional probability、 贝叶斯定理、朴素贝叶斯分类器、 极大似然估计、贝叶斯估计
李航老师《统计学习方法》第二版第四章答案
qq_41626059的博客
04-11 2648
1、使用极大似然估计法推出朴素贝叶斯法概率估计公式（4.8）以及公式（4.9）. 解答：概率估计公式（4.8）是： P(Y=ck)=∑i=1NI(yi=ck)N,k=1,2,...,KP(Y = c_{k}) = \frac{\sum_{i=1}^{N}I(y_{i} = c_{k}) }{N},k = 1,2,...,K P(Y=ck​)=N∑i=1N​I(yi​=ck​)​,k=1,2,...,K 概率估计公式（4.9）是： P(Xj=ajl∣Y=ck)=∑i=1NI(xij=ajl,yi=ck)∑i=
朴素贝叶斯算法 — 超详细公式讲解+代码实例
热门推荐
小牛肉的博客
08-19 6万+
朴素贝叶斯法是基于贝叶斯定理与特征条件独立性假设的分类方法。对于给定的训练集，首先基于特征条件独立假设学习输入输出的联合概率分布（朴素贝叶斯法这种通过学习得到模型的机制，显然属于生成模型）；然后基于此模型，对给定的输入 x，利用贝叶斯定理求出后验概率最大的输出 y。 学习朴素贝叶斯算法之前，我们先搞定下面这些基本概念和数学公式
用极大似然估计法推出朴素贝叶斯法中的先验概率估计公式
dengxun7056的博客
03-25 917
在知乎回答了这个问题，感兴趣的同学可参考：https://www.zhihu.com/question/33959624 这个问题是《统计学习方法》第 4 章朴素贝叶斯法习题 4.1。 花了不少功夫来回答这个问题，截图保存在这里。 转载于:https://www.cnblogs.com/NaughtyBaby/p/5320484.html...
极大似然估计法推出朴素贝叶斯法中的先验概率估计公式
大志的博客
07-24 3555
统计学方法 P53-4.1　令参数P(Y=ck)=θkP(Y = {c_k}) = {\theta _k}，其中k∈{1,2..K}k \in \{ 1,2..K\} 。 　那么随机变量Y的概率可以用参数来表示为一个紧凑的形式 　　 　　　 P(Y)=∑k=1KθkI(Y=ck)P(Y) = \sum\limits_{k = 1}^K {{\theta _k}I(} Y = {c_k}) 　I
山东大学机器学习实验报告 极大似然估计、贝叶斯参数估计
04-16
山东大学计算机科学与技术学院机器学习课程的实验报告
朴素贝叶斯算法的matlab程序实现（极大似然估计和贝叶斯估计）
11-05
朴素贝叶斯算法，matlab程序，极大似然估计，贝叶斯估计
第四章-朴素贝叶斯法
不定期更新 Web 开发及机器学习相关博客
06-07 345
极大似然估计 用极大似然估计法推出朴素贝叶斯法中的概率估计公式 1.在朴素贝叶斯法中，学习意味着估计P(Y=ck)P(Y=c_k)P(Y=ck​)和P(X(j)=x(j)∣Y=ck)P(X^{(j)}=x^{(j)}|Y=c_k)P(X(j)=x(j)∣Y=ck​)。可以应用极大似然估计法估计相应的概率。先验概率P(Y=ck)P(Y=c_k)P(Y=ck​)的极大似然估计是 P(Y=ck)=∑i=1NI(yi=ck)N(1) P(Y=c_k)=\frac{\sum_{i=1}^{N}I(y_i=c_k)
《统计学习方法》第4章 课后题答案
silver
06-18 1万+
这一章主要讲了朴素贝叶斯方法，书上的介绍简单粗暴，但是搞定第二个习题的过程中吃了很多苦头。4.1 用极大似然估计法推出朴素贝叶斯法中的概率估计公式(4.8)及公式(4.9)证明： 题干中要推导的两个公式分别如下： P(Y−ck)=∑Ni=1I(yi=ck)N,k=1,2,…,KP(Y-c_k)=\frac{\sum_{i=1}^NI(y_i=c_k)}{N}, \quad k=1,2,\dots
李航机器学习 | (7) 统计学习方法(第2版)笔记 --- 朴素贝叶斯习题与编程作业
sdu_hao的博客
11-21 1635
1. 用极大似然估计法推出朴素贝叶斯法中的概率估计公式： 2. 用贝叶斯估计法推出朴素贝叶斯法中的概率估计公式： 3. 贝叶斯估计求解过程 4.自编程实现朴素贝叶斯算法，对上述表格中的训练数据进行分类。 """ 朴素贝叶斯算法的实现 2019/4/12 """ import numpy as np import pandas...
《统计学习方法》第四章朴素贝叶斯学习笔记
wjlucc的专栏
04-05 887
朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)，然后求得后验概率分布P(Y|X)P(Y|X)。具体是利用训练数据学习P(X|Y)P(X|Y)和P(Y)P(Y)的估计，得到联合概率分布：P(X,Y)=P(Y)P(X|Y)P(X,Y)=P(Y)P(X|Y)。 朴素贝叶斯法的基本假设是条件独立性： P(X=x|Y=ck)==P(X(1)=x(1),⋯,X(
朴素贝叶斯的参数估计
DawnRanger的专栏
10-31 6629
输入空间 X⊆Rn\mathcal{X} \subseteq \mathbb{R}^n 为 nn 维向量的集合，输出空间 Y={c1,c2,...,cK}\mathcal{Y} = \{c_1,c_2,...,c_K\} 为类标记集合设输入为特征向量 xx，输出为类标记 yy。XX 为定义在输入空间上的随机向量，YY 是定义在输出空间上的随机向量。P(x,y)P(x,y) 为 XX 和 YY 的联合
Python课程设计 课设 手写数字识别卷积神经网络源码+文档说明.zip
最新发布
04-24
高分设计源码，详情请查看资源内容中使用说明 高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明高分设计源码，详情请查看资源内容中使用说明
连续特征的极大似然参数估计及朴素贝叶斯分类
06-10
朴素贝叶斯分类器在处理连续特征时，通常采用高斯分布模型进行估计，即假设每个类别的连续特征都服从高斯分布，并使用最大似然估计方法估计每个类别的均值和方差。对于一个未知样本，计算其在每个类别下的后验概率，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值