线性分类4——高斯判别分析(含代码)

最新推荐文章于 2023-03-15 00:46:40 发布

嘻哈过路人

最新推荐文章于 2023-03-15 00:46:40 发布

阅读量1.8k

点赞数

分类专栏：机器学习推导文章标签：机器学习

本文链接：https://blog.csdn.net/weixin_38132153/article/details/105328014

版权

本文深入探讨了高斯判别分析的理论推导，并提供了相应的代码实现，详细阐述了如何利用高斯分布进行线性分类。

摘要由CSDN通过智能技术生成

一、推导
在这里插入图片描述

二、代码

import numpy as np
import pandas as pd
import sklearn.datasets


iris = sklearn.datasets.load_iris()
X = iris.data[:, 0:2]
Y = np.array(pd.get_dummies(iris.target)[0])


def

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

嘻哈过路人

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

FLDA.rar_FLDA ORL_Flda人脸识别_ORL MATLAB FLDA_fisher 人脸识别_线性判别分析

07-14

Fisher线性判别分析（Fisher's Linear Discriminant Analysis，简称FLDA）是一种经典的统计学习方法，常用于特征选择和降维，尤其在人脸识别领域有着广泛的应用。本资料集包含了基于FLDA的人脸识别代码，以及ORL人脸...

线性分类（四）-- 高斯判别分析 GDA

CarpeDiem

12-10

2698

本篇介绍了高斯判别分析，首先介绍生成模型，狭义的给出了生成模型与判别模型的一般区别；然后介绍高斯判别分析模型的三个基本假设：1）先验概率服从伯努利分布，2）条件概率服从高斯分布，3）特征的条件概率相互独立（同线性模型中的特征不相关）通过最大似然估计导出模型的参数；最后对比了判别模型中的逻辑回归，一般而言，高斯判别模型的假设条件强于逻辑回归，在模型选择时需考虑数据的分布和模型的适用场景。 .

参与评论您还未登录，请先登录后发表或查看评论

（七）高斯判别分析

qq_54434938的博客

05-10

1834

文章目录前言1. 判别模型和生成模型2. 高斯判别分析模型3. 参数估计4. 代码实现前言这篇文章总结一个生成模型——高斯判别分析。 1. 判别模型和生成模型在监督学习中，模型训练成功后，我们往往会得到一个决策函数 f(x)f(x)f(x) 或者一个概率分布 P(y∣x)P(y|x)P(y∣x) ，当需要预测时，我们通过给定的 xxx ，使用 f(x)f(x)f(x) 作为 yyy 的预测值或者使用 P(y∣x)P(y|x)P(y∣x) 计算出概率。在之前总结的线性回归、逻辑回归等模型都是判

【机器学习】线性分类——高斯判别分析GDA（理论+图解+公式推导）

CSDN 精品推荐

08-24

2274

如果需要完整代码可以关注下方公众号，后台回复“代码”即可获取，阿光期待着您的光临~ 文章目录一、概述二、高斯判别分析1.算法思想2.数据的分布假设3.最大似然估计4. 求解参数 ϕ\phiϕ5.求解参数 μ1\mu_1μ16.求解参数 μ2\mu_2μ27.求解参数 Σ\SigmaΣ8.特别公式 2021人工智能领域新星创作者，带你从入门到精通，该博客每天更新，逐渐完善机器学习各个知识体系的文章，帮助大家更高效学习。一、概述首先在讲高斯判别分析之前先看一下线性分类的几种常见模型。 .

机器学习(四)高斯判别分析

最新发布

qq_60980658的博客

03-15

331

前置知识协方差协方差是用来衡量两个随机变量之间关系的指标。简单来说，协方差描述了这两个变量如何同时变化，即它们之间的变化趋势。协方差的公式为： cov(X,Y)=E[(X−E(X))(Y−E(Y))] cov(X,Y) = E[(X - E(X))(Y - E(Y))] cov(X,Y)=E[(X−E(X))(Y−E(Y))] 其中，X和Y是两个随机变量，E(X)和E(Y)是它们的期望值。当协方差的值为正时，表示X和Y之间存在正相关关系，即当一个变量增加时，另一个变量也会随之增加；当协方差的值为负时，表

统计概率模型-高斯判别分析

myazi

09-13

2495

统计概率模型 1、高斯判别分析 2、朴素贝叶斯 3、隐马尔可夫模型 4、最大熵马尔科夫模型 5，条件随机场 6，马尔科夫决策过程一、高斯判别分析 一、生成模型 机器学习模型有一种分类方式：判别模型和生成模型。它们之前的区别在于判别模型是直接从数据特征到标签，而生成模型是从标签到数据特征。形式化的表示就是是否使用了贝叶斯公式： maxP(...

线性判别分析

05-29

线性判别分析（Linear Discriminant Analysis，简称LDA）是一种经典的统计模式识别技术，主要用于数据降维和分类。LDA由R.A. Fisher在1936年首次提出，因此有时也被称作Fisher线性判别分析（Fisher Linear ...

基于稀疏概率线性判别分析的说话人识别

03-19

SPLDA是一种潜在变量模型，通过将因子上的高斯先验替换为鼓励稀疏性的拉普拉斯先验，来修改概率线性判别分析，从而获得一种学习过完备稀疏表示的算法。由于拉普拉斯分布具有比高斯分布更加尖锐的峰值，它能够更好地...

linear_svm.rar_SVM高维_svm非线性判别_线性判别函数

09-24

总结来说，"linear_svm.rar"中的内容涉及到SVM如何通过非线性映射到高维空间来解决非线性分类问题，利用线性判别函数在高维特征空间构建最优超平面，以及核函数在这一过程中的核心作用。这种技术在处理高维数据时...

斯坦福机器学习笔记（三）—— 高斯判别分析（GDA）

08-08

这是吴恩达机器学习视频的关于高斯判别分析的相关讲英文讲义的中文翻译，由于原版讲义未对相关公式进行推导，在上传的资源里对这些公式进行的详细的数学推导。希望对大家有所帮助

python实现高斯判别分析算法的例子

12-23

高斯判别分析算法（Gaussian discriminat analysis）高斯判别算法是一个典型的生成学习算法（关于生成学习算法可以参考我的另外一篇博客）。在这个算法中，我们假设p(x|y)p(x|y)服从多元正态分布。注：在判别学习算法中，我们假设p(y|x)p(y|x)服从一维正态分布，这个很好类比，因为在模型中输入数据XX通常是拥有很多维度的，所以对于XX的条件概率建模时要取多维正态分布。多元正态分布多元正态分布也叫多元高斯分布，这个分布的两个参数分别是平均向量μ∈Rnμ∈Rn和一个协方差矩阵∑∈Rn×n∑∈Rn×n 关于协方差矩阵的定义；假设XX是由nn个标量随机变量组成的

高斯判别分析（Gaussian Discriminative Analysis）

香龙

09-26

2238

高斯判别分析(GDA)是经典的生成学习模型，也是一种监督分类学习算法。假设有样本集D={(x1,y1),(x2,y2),...,(xn,yn)}D=\{(x_1,y_1),(x_2,y_2),...,(x_n,y_n)\}D={(x1,y1),(x2,y2),...,(xn,yn)}，其中xi∈Rd,yi∈{0,1}x_i \in R^d,y_i \in \{0,1\}xi∈Rd...

机器学习笔记（五）-高斯判别分析

Blessy_Zhu的博客

04-25

4871

在机器学习笔记（四）-逻辑回归中已经介绍了，软分类又分为概率判别模型：为代表的模型是逻辑回归；还有概率生成模型，为代表的是高斯判别分析（GDA：Guassian Discrimant Analysis）。GDA是本文的主角。本文主要是对GDA算法学习和Python验证

高斯判别分析- GDA原理简介

wuyanxue的专栏

04-25

1907

GDA是生成学习方法的一个典型代表。判别学习方法是直接对P(y | x)进行建模，也就是说生成学习方法学到的是P(y | x)这样一个条件概率；另外一种判别学习方法是直接输出hθ(x)hθ(x)h_\theta(x)，表示预测结果是关于样本x的显式函数。生成学习方法是先对P(x | y)和P(y)进行建模，然后通过条件概率公式计算P(y | x)。在高斯判别分析中，假设不同类别的样本分...

机器学习基础专题：高斯判别分析

八门金锁的技术博客

09-23

337

高斯判别分析 全称是Gaussian Discriminant Analysis (GDA)。大家不要被名字所误导，这是一种概率生成模型。原理对联合概率进行建模，我们假设y∼Bernoulli(Φ)y \sim Bernoulli(\Phi)y∼Bernoulli(Φ)，且x∣y=1∼N(μ1,Σ)x|y=1 \sim N(\mu_1, \Sigma)x∣y=1∼N(μ1,Σ)，x∣y=0∼N(μ0,Σ)x|y=0 \sim N(\mu_0, \Sigma)x∣y=0∼N(μ0,Σ) 输入训练集数

【Python实例第35讲】高斯过程分类：Iris数据集

wong2016的博客

01-14

2282

机器学习训练营——机器学习爱好者的自由交流空间（qq 群号：696721295）这个例子演示了高斯过程分类的预测概率，分别对应isotropic and anisotropic RBF核。数据集是iris数据集的二维版本。结果显示， anisotropic RBF核获得了稍微高一些的对数边际似然。实例代码 import numpy as np import matplotlib.pyplo...

机器学习之Iris分类

qq_43586738的博客

09-05

896

Iris数据集包含鸢尾花三个亚属的分类信息，通过机器学习算法生成一个模型，自动分类新数据到三个亚属中的某一个。 #导入类库 import pandas as pd from pandas.plotting import scatter_matrix from sklearn import datasets from sklearn.model_selection import KFold,train_test_split,cross_val_score from sklearn.metrics impo

机器学习——线性分类之高斯判别分析

weixin_41048383的博客

10-13

933

文章目录高斯判别分析模型定义高斯判别分析模型求$\phi$高斯判别分析模型求$\mu_1,\mu_2$高斯判别分析模型求$\Sigma$后记参考资料高斯判别分析模型定义高斯判别分析：Gaussian discriminant analysis。假设存在样本XN×pX_{N\times p}XN×p满足如下形式: X=(x1 x2 ... xN)T=(x1Tx2...

测地线距离与广义高斯型Laplacian特征映射在集成判别中的应用

"这篇论文研究了基于测地线距离的广义高斯型Laplacian特征映射及其集成判别算法，由曾宪华、罗四维等人撰写。传统Laplacian特征映射依赖于欧氏距离，而新方法结合了测地线距离和广义高斯函数，以改进高维数据的低维...