高斯密度下的判别函数

最新推荐文章于 2022-12-30 17:21:01 发布
最新推荐文章于 2022-12-30 17:21:01 发布
阅读量568 收藏 2
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35455503/article/details/103834498
版权

一只荣
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福机器学习笔记（三）—— 高斯判别分析（GDA）
08-08
这是吴恩达机器学习视频的关于高斯判别分析的相关讲英文讲义的中文翻译，由于原版讲义未对相关公式进行推导，在上传的资源里对这些公式进行的详细的数学推导。希望对大家有所帮助
贝叶斯决策论(二)：多元高斯分布下的判别函数
qq_45785407的博客
10-28 2890
一个贝叶斯分类器可由条件概率密度p(x|ωi)和先验概率P(ωi)决定。在各种密度函数中，高斯密度函数（多元正态函数）最受青睐。本节我们先从单变量高斯密度函数谈起，接着探讨多元高斯分布以及一些特殊情况下的判别函数。 文章目录一 单变量高斯密度函数二 多元密度函数三 正态分布下的判别函数3.1 Σi=σ2I\Sigma_i=\sigma^2IΣi​=σ2I3.2 Σi=Σ\Sigma_i=\SigmaΣi​=Σ3.3 Σi=\Sigma_i=Σi​=任意参考 一 单变量高斯密度函数 单变量正态或高斯密度函数
高斯分布下的线性判别函数简介
m0_47867419的博客
12-30 933
ijjiΣϕi​=λi​ϕi​Φ=[ϕ1​ϕ2​⋯ϕd​]Λ=diag[λ1​,λ2​,⋯,λd​]​ΦTΦ=IΦT=Φ−1​⟺ϕit​ϕj​={1,0,​i=ji=j​ΣΦ=ΦΛ↔Σ=ΦΛΦT↔Σ=i=1∑d​λi​ϕi​ϕiT​ΦTΣΦ=Λ=​λ1​0⋮0​0λ2。
高斯密度下的贝叶斯判别
王尚权 qq:2515162716
12-21 168
这里x1,x2x_1,x_2x1​,x2​属于不同的特征变量，其均值在计算中我们用样本均值和方差代替
【机器学习】高斯判别分析
AI小白入门的博客
12-08 663
点击上方蓝色字体，关注AI小白入门哟跟着博主的脚步，每天进步一点点本文介绍了高斯判别分析，首先介绍生成模型，狭义的给出了生成模型与判别模型的一般区别；然后介绍高斯判别分析模型的三个基本假...
高斯判别函数边界图：该程序生成随机高斯样本并绘制边界。-matlab开发
06-01
3. **高斯判别函数**：计算高斯判别函数的表达式，这涉及到概率密度函数的比较，以确定数据点属于哪个类别。 4. **边界计算**：可能使用牛顿法或梯度下降等优化算法来找到使得判别函数等于零的点，这些点构成了边界...
05 第五章 线性判别函数1
08-03
这一章主要讨论了如何在已知判别函数参数形式的情况下，通过训练数据来估计其参数值，而不必了解概率密度函数的具体参数。线性判别函数的核心思想是构建一个线性的决策边界，即样本特征的线性组合，来区分不同类别的...
正交二次判别函数：一种新的二次判别函数-matlab开发
06-01
正交二次判别函数（Orthogonal Quadratic Discriminant Function，简称OQDF）是一种用于分类问题的统计方法，尤其在模式识别和机器学习领域中有着广泛的应用。与传统的线性判别分析（LDA）和二次判别分析（QDA）相比...
基于高斯核优化的密度峰值聚类算法.docx
02-27
高斯核是一种常用的核函数，它能够有效地捕捉数据的局部特性，尤其是在处理非线性问题时表现出色。通过应用高斯核，算法能够更好地识别出簇间共享的样本点，减少误分配的可能性。 此外，Gauss-DPC算法还引入了高斯...
高斯混合概率假设密度无序估计分布式融合.pdf
08-10
高斯混合模型是概率密度函数的一种表示方式，它将复杂的概率密度分解为多个独立的高斯分布之和。在多目标跟踪中，每个高斯分量通常对应一个目标的潜在状态。本文首先基于高斯混合概率假设密度滤波器的理论，利用概率...
python实现高斯判别分析算法的例子
12-23
高斯判别分析算法（Gaussian discriminat analysis） 高斯判别算法是一个典型的生成学习算法（关于生成学习算法可以参考我的另外一篇博客）。在这个算法中，我们假设p(x|y)p(x|y)服从多元正态分布。 注：在判别学习算法中，我们假设p(y|x)p(y|x)服从一维正态分布，这个很好类比，因为在模型中输入数据XX通常是拥有很多维度的，所以对于XX的条件概率建模时要取多维正态分布。 多元正态分布 多元正态分布也叫多元高斯分布，这个分布的两个参数分别是平均向量μ∈Rnμ∈Rn和一个协方差矩阵∑∈Rn×n∑∈Rn×n 关于协方差矩阵的定义；假设XX是由nn个标量随机变量组成的
高斯判别分析中的高斯分布密度函数的理解
huxy Blog
07-30 1478
高斯判别分析中，关于高斯密度函数的理解
机器学习笔记：高斯判别分析
qq_40206371的博客
11-27 423
1 模型概述 假设有如下数据： 其中样本数据的类别y在给定的情况下服从伯努利分布 不同类别的样本数据又分别服从不同的多元高斯分布（这里假设两个高斯分布具有同样的方差） 2 损失函数 高斯判别模型的损失函数为其log似然，要估计的参数θ为 然后用极大似然估计 3 参数估计 为了方便起见，定义标签为1的样本个数为N1，标签为0的样本个数为N2，则有N1+N2=N 3.1 估计 Φ ϕ只存在于③式中，因此求解ϕ只需要看③式即可： 3.2 求解μ1 μ1...
ML—高斯判别分析
掉下个小石头
12-11 1786
华电北风吹 天津大学认知计算与应用重点实验室 日期：2015/12/11高斯判别分析属于生成模型，模型最终学习一个特征-类别的联合概率。0 多维正态分布 确定一个多维正态分布只需要知道分布的均值向量μ∈Rn×1\mu\in R^{n\times 1}和一个协方差矩阵Σ∈Rn×n\Sigma\in R^{n\times n}. 其概率密度函数如下： p(x;μ,Σ)=1(2π)n/2|Σ
（七）高斯判别分析
qq_54434938的博客
05-10 1685
文章目录前言1. 判别模型和生成模型2. 高斯判别分析模型3. 参数估计4. 代码实现 前言 这篇文章总结一个生成模型——高斯判别分析。 1. 判别模型和生成模型 ​在监督学习中，模型训练成功后，我们往往会得到一个决策函数 f(x)f(x)f(x) 或者一个概率分布 P(y∣x)P(y|x)P(y∣x) ，当需要预测时，我们通过给定的 xxx ，使用 f(x)f(x)f(x) 作为 yyy 的预测值或者使用 P(y∣x)P(y|x)P(y∣x) 计算出概率。 ​在之前总结的线性回归、逻辑回归等模型都是判
线性分类（四）-- 高斯判别分析 GDA
CarpeDiem
12-10 2555
本篇介绍了高斯判别分析，首先介绍生成模型，狭义的给出了生成模型与判别模型的一般区别；然后介绍高斯判别分析模型的三个基本假设：1）先验概率服从伯努利分布，2）条件概率服从高斯分布，3）特征的条件概率相互独立（同线性模型中的特征不相关）通过最大似然估计导出模型的参数；最后对比了判别模型中的逻辑回归，一般而言，高斯判别模型的假设条件强于逻辑回归，在模型选择时需考虑数据的分布和模型的适用场景。 .
分类-3-生成学习-2-高斯判别分析、协方差
哎呦喂的博客
04-06 4747
参考 http://www.cnblogs.com/jerrylead 多元高斯分布多变量高斯分布描述的是n维随机变量的分布情况，这里的μ变成了向量，σ也变成了矩阵Σ。写作N(μ,Σ)。其中Σ（协方差矩阵）是一个半正定的矩阵，μ是高斯分布的均值，下面给出它的概率密度函数：多变量高斯分布描述的是 n维随机变量的分布情况，这里的\mu变成了向量， \sigma也变成了矩阵\Sigma。写作\mathca
高斯判别分析(Gaussian discriminant analysis)
weixin_33985507的博客
08-10 353
原理 相关概率论知识(概率论) 在生成模型中，我们的学习目标是： 而在高斯判别分析中，我们有如下假设： 即： 其中 是高斯分布的均值向量， 是协方差矩阵. 然后，我们使用 极大似然估计 ，首先构造 : 于是得到： 于是我们只要将学习到的参数 代入 和 的函数，在预测时，只需要代入数据，计算出不同类别中最大的 ，便可以得到预测的类别. 代码实现 import numpy as n...
【温故而知新】高斯判别分析(Gaussian Discriminant Analysis)
CVer
02-05 714
给定数据集； 概率判别模型是直接去求，如下： 高斯判别分析是一种概率生成模型，这里我们需要最大化后验概率估计，对于二分类，高斯判别分析并不是直接去求和的值，而是去比较与的大小关系,而是对联合概率进行建模；由贝叶斯公式可知， 此处，与无关，所以正比于，其中，是posterior，是likehood，是piror。 GDA假...
高斯判别函数的目标函数
最新发布
11-24
高斯判别函数的目标函数是通过对数极大似然估计来得到的。具体来说，对于给定的训练集，高斯判别函数的目标是最大化样本发生的概率，即对数似然函数。该函数的表达式为： $$L(\theta)=\sum_{i=1}^{m}logP(x^{(i)},y^{(i)};\theta)$$ 其中，$m$是训练集的大小，$x^{(i)}$和$y^{(i)}$分别是第$i$个样本的特征和标签，$\theta$是高斯判别函数的参数。在实际应用中，通常假设样本的特征服从高斯分布，因此可以将$P(x^{(i)},y^{(i)};\theta)$表示为： $$P(x^{(i)},y^{(i)};\theta)=P(x^{(i)}|y^{(i)};\theta)P(y^{(i)};\theta)$$ 其中，$P(x^{(i)}|y^{(i)};\theta)$是给定标签$y^{(i)}$时，样本特征$x^{(i)}$的条件概率密度函数，$P(y^{(i)};\theta)$是标签$y^{(i)}$的先验概率。将上式代入对数似然函数中，得到： $$L(\theta)=\sum_{i=1}^{m}logP(x^{(i)}|y^{(i)};\theta)+\sum_{i=1}^{m}logP(y^{(i)};\theta)$$ 其中，第一项是样本特征的条件概率密度函数的对数，第二项是标签的先验概率的对数。对于高斯判别函数，假设样本特征在给定标签的条件下服从多元高斯分布，因此可以将第一项表示为： $$logP(x^{(i)}|y^{(i)};\theta)=-\frac{1}{2}(x^{(i)}-\mu_{y^{(i)}})^T\Sigma_{y^{(i)}}^{-1}(x^{(i)}-\mu_{y^{(i)}})-\frac{1}{2}log|\Sigma_{y^{(i)}}|-\frac{n}{2}log(2\pi)$$ 其中，$\mu_{y^{(i)}}$和$\Sigma_{y^{(i)}}$分别是标签为$y^{(i)}$的样本特征的均值向量和协方差矩阵，$n$是样本特征的维度。将上式代入对数似然函数中，得到高斯判别函数的目标函数： $$L(\theta)=\sum_{i=1}^{m}-\frac{1}{2}(x^{(i)}-\mu_{y^{(i)}})^T\Sigma_{y^{(i)}}^{-1}(x^{(i)}-\mu_{y^{(i)}})-\frac{1}{2}log|\Sigma_{y^{(i)}}|-\frac{n}{2}log(2\pi)+\sum_{i=1}^{m}logP(y^{(i)};\theta)$$

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值