机器学习（六）分类模型--线性判别法、距离判别法、贝叶斯分类器

最新推荐文章于 2024-04-16 18:22:01 发布
最新推荐文章于 2024-04-16 18:22:01 发布
阅读量4.4k 收藏 19
点赞数 4
分类专栏： 机器学习 文章标签： 分类 机器学习 贝叶斯分类器 线性判别法 距离判别法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuYi_WeiLin/article/details/85940786
版权
本文介绍了机器学习中的分类模型，包括线性判别法、距离判别法和贝叶斯分类器。线性判别法通过寻找划分学习集的直线进行分类；距离判别法依据样本点之间的距离决定分类；贝叶斯分类器利用贝叶斯公式计算后验概率，以判断样本类别。文章还提及了朴素贝叶斯方法和贝叶斯信念网络的基本概念。
摘要由CSDN通过智能技术生成

机器学习（六）分类模型--线性判别法、距离判别法、贝叶斯分类器

 

首先我们了解常见的分类模型和算法有哪些

 

线性判别法

简单来说就是用一些规定来寻找某一条直线，用直线划分学习集，然后根据待测点在直线的哪一边决定它的分类

如图，假如红色这条线是找出来的线，则要预测的那个红叉点为2

 

距离判别法

简单来说就是预测某一个点的类别，分别计算这个点与各个样本点的距离（不是我们平常用的欧氏距离公式，而是马氏距离），这个点离哪个样本点最近，最近样本点是什么类别，他就是什么类别

 

最近邻算法（KNN）

简单来说，（一般K是我们定的一个数，一般K取奇数，这里我们k=5）我们要预测一个点的类别，计算该点与所有样本点的距离，

最低0.47元/天 解锁文章
路易三十六
关注
专栏目录
Fisher线性判别分析
Qer的博客
05-29 9648
本文参考《模式识别》 张学工 以二分类介绍 fisher线性判别：把所有样本都投影到一个方向，然后在这个一维空间中确定一个分类阈值，而fisher要找的就是这个投影方向。 衡量投影方向的标准：选择投影方向，使投影后两类相邻尽可能远，同时每一类内部的样本又尽可能近。 算法推导 训练样本为{x1,x2,...,xN}\{x_1,x_2,...,x_N\}每一个样本是一个d维向量，即xi∈Rdx
贝叶斯判别分析
weixin_44269044的博客
04-27 2308
Bayes判别：假定对研究对象已经有一定的认识，但这种认识常用先验概率来描述，取得样本后，就可以用样本修正已有的先验概率，得到后验概率。 R语言实现 贝叶斯判别函数如下： discriminiant.bayes<-function (TrnX1, TrnX2, rate=1, TstX = NULL, var.equal = FALSE) #输入X1类样本集，输入X2类样本集，TstX为待测...
判别分析（距离判别 贝叶斯判别）
08-12
在判别分析中，至少有一个已经明确知道类别的“训练样本”，利用这个数据，就可以建立判别准则，并通过预测变量来为未知类别的观测值进行判别了。 所谓Fisher判别法，就是一种先投影的方法。 考虑只有两个（预测）变量的判别分析问题。 假定这里只有两类。数据中的每个观测值是二维空间的一个点。见图（下一张幻灯片）。 这里只有两种已知类型的训练样本。其中一类有38个点（用“o”表示），另一类有44个点（用“*”表示）。按照原来的变量（横坐标和纵坐标），很难将这两种点分开。 于是就寻找一个方向，也就是图上的虚线方向，沿着这个方向朝和这个虚线垂直的一条直线进行投影会使得这两类分得最清楚。可以看出，如果向其他方向投影，判别效果不会比这个好。 有了投影之后，再用前面讲到的距离远近的方法来得到判别准则。这种首先进行投影的判别方法就是Fisher判别法。
朴素贝叶斯分类器与Fisher线性判别实践——水果识别为例
不要仅为成功而努力，要为做一个有价值的人而努力
10-10 2293
用朴素贝叶斯分类器以及Fisher线性判别分别实现简单水果分类
线性判别法
h335146502的专栏
02-10 997
线性判别法 原理:用一条直线来划分已有的学习集的数据，然后根据待测点在直线的那一边决定的分类。如下图可以做出一条直线来划分两种数据的分类。      但是一般情况下特征数很多，想降低特征数维度。可以通过投影的方式进行计算。然而使得一个多维度特征数变换到一条直线上进行计算。可以减少计算工作的复杂度。 推算过程： http://blog.csdn.net/carson
朴素贝叶斯分类器本质上是线性分类器
南山牧笛的博客
02-08 2346
朴素贝叶斯分类器是一种应用贝叶斯定理的分类器。线性分类器是通过特征的线性组合来做出分类决定的分类器。本质上，朴素贝叶斯分类器是一种线性分类器。朴素贝叶斯分类器是建立在属性变量相互独立的基础上，后验概率为判定准则的分类器。下面不等式成立，样例[Math Processing Error]为正类；否则样例为负类。 [Math Processing Error]       线性分类
【模式识别与机器学习】——2.1贝叶斯判别法
weixin_30555125的博客
09-17 599
一.作为统计判别问题的模式分类 　　模式识别的目的就是要确定某一个给定的模式样本属于哪一类。 可以通过对被识别对象的多次观察和测量，构成特征向量，并将其作为某一个判决规则的输入，按此规则来对样本进行分类。在获取模式的观测值时，有些事物具有确定的因果关系，即在一定的条件下，它必然会发生或必然不发生。但在现实世界中，由许多客观现象的发生，就每一次观察和测量来说，即使在基本条件保持不变的情况下也具有不...
LDA.rar_LDA 分类器_lda_分类器_机器学习 分类_贝叶斯分类器
09-24
**LDA（线性判别分析）**是统计学和机器学习领域中一种常用的数据降维和分类方法。它的全称是Linear Discriminant Analysis，有时也被称作Fisher's LDA，因为它最初由Ronald Fisher在29世纪初提出。LDA的核心思想是...
基于jupyter notebook的python编程—–机器学习中的线性分类器及相应判定方法(鸢尾花数据集的分类可视化)
12-21
在机器学习领域，线性分类器是一种常用的模型，它通过构建线性边界来对数据进行划分，以此实现不同类别的区分。线性分类器的核心思想是寻找一个或多个线性的决策超平面，使得各类样本能被这个超平面有效地分开。 1...
机器学习--Fisher线性判别
zjc
05-05 3519
Fisher线性判别Fisher判别法介绍Fisher线性判别Fisher准则函数的定义python代码实现 Fisher判别法介绍 Fisher判别法是判别分析的方法之一，它是借助于方差分析的思想，利用已知各总体抽取的样品的p维观察值构造一个或多个线性判别函数y=l′x其中l= (l1，l2…lp)′，x= (x1，x2，…，xp)′，使不同总体之间的离差(记为B)尽可能地大，而同一总体内的离差...
论文研究-朴素贝叶斯分类器的构建 .pdf
08-16
总结而言，这篇文章在朴素贝叶斯分类器的理论和实践应用方面做出了有意义的贡献，为机器学习领域提供了一种新的属性构造方法，并展示了通过该方法提升分类器性能的可能性。文章通过对信息几何和Fisher判别分析的深入...
线性判别分析（二）——Bayes最优分类器的角度看LDA
CodeTutor
10-18 9896
在线性判别分析（一）——LDA介绍 一文中，我们介绍了LDA的基本思想、算法，但其实严格来讲博客中介绍的都是FDA。本文我们就来探究一下LDA的真面目。Bayes准则关于贝叶斯最优分类器的介绍请参考周志华的《机器学习》P147。我们这里直接引入概念： 贝叶斯判定准则 为最小化总体风险，只需要在每个样本上选择那个能使条件风险R(c|x)R(c|x)最小的类别标记，即h∗(x)=argminc
LDA线性判别
QAQchichong的博客
06-01 513
原理推导和基础代码
【ML--08】线性判别法和距离判别法
赖德发的博客
08-04 3377
线性判别法的原理 用一条直线来划分学习集 然后根据待测点在直线的哪一边决定它的分类。rm(list=ls()) G=c(1,1,1,1,1,1,1,1,1,1,2,2,2,2,2,2,2,2,2,2) x1=c(-1.9,-6.9,5.2,5.0,7.3,6.8,0.9,-12.5,1.5,3.8,0.2,-0.1,0.4,2.7,2.1,-4.6,-1.7,-2.6,2.6,-
【应用多元统计分析】CH5 判别分析1，2——引言，距离判别
m0_72318954的博客
10-26 2753
距离判别介绍
模式识别（张学工版）学习笔记（第四章 线性分类器）
yt77_2000的专栏
10-15 1234
1、模式识别的目的是在特征空间中找到两类（多类）的分界面。因此，可以根据样本特点，直接设计分类器。 2、设计分类器一般包括三个步骤：一是确定分类函数的类型，二是设计最优准则，即什么样的函数才是最优的，三是根据准则，设计算法从样本中搜索到最优的函数参数。形式化表示为：在判别函数集 3、线性分类器虽然简单，但在很多场合却很有效地实现的样本的分类，前提是样本集线性可分。 一般形式为 ， ...
你也可以轻松掌握机器学习（2）--- 从熟悉的y=kx+b到线性回归模型
最新发布
Luca的博客, 网络安全Hacker，人工智能AIer，区块链Web3er，全栈软件开发er
04-16 2593
在初中数学学习中，一次函数是数学中的基础，对于理解直线的性质和函数的变化规律至关重要. 一次函数是指数学中的一种函数形式，其中 x 的最高次数为1。它通常表示为 y=kx+b，其中 k 是斜率， b 是 y 轴截距。这个函数描述了一条直线的特性，斜率决定了直线的倾斜程度，而截距则是直线与y 轴的交点在 y 轴上的坐标。线性回归模型y=wx+b 是统计学和机器学习领域中最基础、最常用的模型之一。它同样描述了自变量 x 和因变量 y 之间的线性关系。
机器学习之线性回归
zh_JNU的博客
03-26 682
线性回归是最简单的一个函数拟合过程，一元线性回归公式为y=ax+b。 我们做拟合，首先需要定义一个损失函数。一般常用的损失函数有： 0-1损失函数和绝对值损失函数　　0-1损失是指，预测值和目标值不相等为1，否则为0：　　感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足时认为相等。 绝对值损失函数：  log对数损失函数 　　Logistic回归的损失函数就是...
机器学习_第三篇 判别分析(1)_线性判别分析 LDA/FDA
Blog of Mary Sun
10-03 1990
目录1. 简单的判别分析_ 距离判别法2. Fisher判别分析/线性判别分析 1. 简单的判别分析_ 距离判别法 2. Fisher判别分析/线性判别分析
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

路易三十六

你的鼓励是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值