面向高斯核朴素贝叶斯分类器的特征选择方法

最新推荐文章于 2023-09-18 18:07:00 发布
最新推荐文章于 2023-09-18 18:07:00 发布
阅读量6k 收藏
点赞数
分类专栏： 算法 文章标签： 算法 分类器 贝叶斯 模式识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XiaoY_H/article/details/52974322
版权

自己想出来的方法，比较简单，应该也会有人用过了，不过没查过文献，主要内容暂时不公布了，先讲下效果。


通过该特征选择方法，将A类分类任务的准确度从0.8327提高到了0.9760，B类分类任务的准确度从0.8973提高到了0.9447。


所以，方法其次，特征才是重点，毕竟A的分类准确度提高了更多。


提醒一下，该方法主要思想在于分位点，懂的人会觉得low了，哈哈~~~

XiaoYNil
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习贝叶斯分类器
DHYYYYYY的博客
12-16 975
6.1.1 背景知识 贝叶斯方法分析的特点是用概率表示不确定性。 贝叶斯决策论是在概率框架下试试决策的基本方法。 在分类问题情况下，在所有相关概率都已知的理想情形下，贝叶斯决策考虑如何基于这些概率和误判损失来选择最优的类别标记。 概率基本概念： 先验概率(P(Y)):即根据往年经验及其他因素预测的事件的概率。 后验概率(P(Y|X))：即在先验概率的情况下根据其他因素推测的概率。 联合概率：表示两个事件共同发生的概率。 6.1.2 贝叶斯决策论 贝叶斯定理： 估计后验概率P(c|x)主要困难:类条件概率P
贝叶斯分类器算法及案例详解
Spyderman
01-01 1万+
作者：vicky 致谢： 本文是对贝叶斯分类器（包括朴素贝叶斯分类器，半朴素贝叶斯分类器及贝叶斯网络）算法的演算及案例的详细分析。建议先阅读“理解贝叶斯分类器原理及关系”后再阅读本文，会对上述几种贝叶斯分类器有更深入的理解。本文只是在学习后进行了总结并加入了自己的理解，如有不妥之处，还望海涵，也希望大家多多指教，一起学习！ 一、 朴素贝叶斯分类器 特点:假设输入的变量的特征属性之间具有很强的独立...
基于高斯核函数的朴素贝叶斯分类器依赖扩展
01-14
<p>朴素贝叶斯分类器不能有效地利用属性之间的依赖信息, 而目前所进行的依赖扩展更强调效率, 使扩展后分类器的分类准确性还有待提高. 针对以上问题, 在使用具有平滑参数的高斯核函数估计属性密度的基础上, 结合分类器的分类准确性标准和属性父结点的贪婪选择, 进行朴素贝叶斯分类器的网络依赖扩展. 使用UCI 中的连续属性分类数据进行实验, 结果显示网络依赖扩展后的分类器具有良好的分类准确性.</p>
sklearn保存svm分类模型_再论特征选择4——基于朴素贝叶斯模型特征选择
weixin_39861255的博客
11-24 113
以二分类多项式朴素贝叶斯模型为例说明特征选择的原理。通过前边朴素贝叶斯sklearn实践部分我们可以看到，对于二分类问题来说，sklearn中只使用一个线性分类器f(x)=wx+b，这里显然w是一个一维的向量，它是分类器的参数，x是待预测文本的TF法向量化表示，b表示该分类器所预测的两个类别中的一个类别的出现概率。显然w各维表示的词语的似然概率p(w|c)，p(w|c)的值越大说明类别c产生这个词...
基于贝叶斯定理和特征条件概率来实现分类—贝叶斯分类器
chenmuchen_的博客
09-18 155
贝叶斯分类器是一种基于贝叶斯定理和特征条件概率的分类方法，通过利用已知的概率信息和特征条件独立性假设，预测待分类样本的类别。贝叶斯分类器是一种经典的概率模型，通过使用已知特征和训练数据集中的概率信息来预测新样本的分类。贝叶斯定理是根据已知条件概率和特征条件概率，计算待分类样本属于某个类别的概率。对特征选择不敏感：贝叶斯分类器对于不相关的特征具有较好的鲁棒性，可以自动选择有助于分类的特征。计算后验概率：根据已知条件概率和特征条件概率，计算待分类样本属于各个类别的后验概率。
【朴素贝叶斯】实战朴素贝叶斯_代码实现_特征选择2
xceman1997的专栏
09-07 3073
【选择特征】 其实对于卡方选择来说，上一篇软文基本上已经几乎写完了——毕竟卡方值都计算出来了，接下来，选择就行了呗。选择的方法？上文不是说了么，卡方的值表示特征与类别之间的关联，选择卡方值大的特征类型不就行了么。不过，还有最后一个问题，问题在于我们有多个类别。当我们要选择m个特征的时候，每个类别选择几个？哦，如果有k各类别，那么平均分配一下，每个类别选择m/k个，各个类别加起来就是m个了。哦，那
朴素贝叶斯算法,点进来了解了解。
酒心★
09-22 4812
本篇总结一下贝叶斯算法。 贝叶斯方法是以贝叶斯原理为基础，使用概率统计的知识对样本数据集进行分类。由于其有着坚实的数学基础，贝叶斯分类算法的误判率是很低的。贝叶斯方法的特点是结合先验概率和后验概率，即避免了只使用先验概率的主管偏见，也避免了单独使用样本信息的过拟合现象。贝叶斯分类算法在数据集较大的情况下表现出较高的准确率，同时算法本身也比较简单。 朴素贝叶斯法（NPC）是基于贝叶斯定理与特征条件独...
机器学习（二）贝叶斯分类器 聚类 降维与度量学习 特征选择与稀疏学习
weixin_48878618的博客
07-20 196
假如从家里去公司上班有三种交通方式打车、坐地铁和乘公交，对应概率为P(A1)=0.5、P(A2)=0.3、P(A3)=0.2，在已知每种方式下上班迟到的概率分别为：打车迟到：P(B|A1)=0.2，坐地铁迟到：P(B|A2)=0.4，乘公交迟到P(B|A3)=0.7，求解，若上班迟到了，是打车方式的概率是多少，即求解P(A1|B)。如果新大佬和老大佬之间的距离小于某一个设置的阈值（表示重新计算的质心的位置变化不大，趋于稳定，或者说收敛），可以认为我们进行的聚类已经达到期望的结果，算法终止。
【朴素贝叶斯】实战朴素贝叶斯_代码实现_特征选择1
云计算?
09-07 394
特征选择对于文本分类任务很重要，选的好了能够大大提高文本分类准确率。其实特征选择也没有多神秘。首先，不选择也是一种选择，把所有可能的特征类型都用来作文本分类也没有问题。其次，随机选择也是一种选择，效果还真不见得差到哪里去。第三，特征选择方法有很多：卡方选择、信息增益、tf/idf也行。这一篇，还是介绍最基本的卡方选择方法。 【基本原理】 卡方选择就是通过卡方公式计算某个特征与某个类别之间的...
C++实现朴素贝叶斯分类器(加强版)
09-14
这个和我以前传的有了一点改动就是把训练模型和预测分为了2个工程了更方便了 里面有readme.txt. 还可以看看我前面上传那个工程的“资源描述”
Python实现的朴素贝叶斯分类器示例
09-20
主要介绍了Python实现的朴素贝叶斯分类器,结合具体实例形式分析了基于Python实现的朴素贝叶斯分类器相关定义与使用技巧,需要的朋友可以参考下
OnlineGaussianNaiveBayes:在线高斯朴素贝叶斯分类器
06-27
#一个在线高斯朴素贝叶斯分类器 该分类器融合了传统的高斯朴素贝叶斯和数值稳定的在线计算方差算法。 请参阅以下链接： ##时间和空间性能一次只有一个实例存储在 RAM 中。 每个维度的均值和方差也被存储。 训练的...
不使用sklearn推演高斯朴素贝叶斯分类器
最新发布
12-06
不做调包侠，不调用sklearn，完成对高斯朴素贝叶斯分类器的代码编写，内含有使用小案例。
QQ在线人数统计图数据解析
热门推荐
XiaoY
06-01 2万+
我相信很多人一定去过这个地方： http://im.qq.com/online/index.shtml 这就是QQ在线人数统计图 再来看一个网址： http://cgi.im.qq.com/cgi-bin/minute_city 动态图里的Flash控件每隔一段时间会从这个网址拉取数据
四舍五入算法、五舍六入、六舍七入、七舍八入。。。。。。。
XiaoY
04-04 1万+
四舍五入：int=(int)(double +0.5); 五舍六入：int=(int)(double +0.4); 六舍七入、七舍八入
基于caffe与MATLAB接口的回归分析与可视化
XiaoY
01-26 7410
本文内容主要分为两部分，第一部分介绍基于caffe的回归分析，包括了数据准备、配置文件等；第二部分介绍了在MATLAB上进行的可视化。（话说本人最近有个课题需要做场景分类，有兴趣可以共同探讨一下）。
Caffe中的反向传播代码理解
XiaoY
12-19 7083
在神经网络中的反向传播中，求导函数的形式往往用目标值y来表示更合适些，这与数学中常见的用x来表示导函数的习惯有所不同，这样的形式可以在sigmoid函数的导函数表达式中看到。
C/C++中避免系统的字节对齐
XiaoY
06-27 6535
在定义了一个新的Struct后。 系统会按照一定的规则将新生命的类型变量进行字节对齐，如下结构体： typedef struct Test{ int a; char b[6]; }Test; 该结构体类型可能会被对齐为12个字节。 那么，在内存流和文件流操作中可能会出现这样的用法： fwrite(strPtr,1,sizeof(Test)*len,fp); 事实上，被写入了len
caffe训练的实时可视化思路
XiaoY
01-15 6371
个人认为，可视化是能够增进对网络理解的强有力的方式，但是问过一个相关工作者，貌似只对loss曲线感兴趣。 caffe的对外接口其实很丰富，包括了matlab和python，虽然这个框架还存在一些bug（比如对错误的deploy文件的容错还有待提高，不过这锅貌似也不能caffe背），但已经够用了，在此感谢作者！最近比较忙，所以没有时间去实现了，只能暂时在这边构思一下~
高斯朴素贝叶斯分类器python
09-05
高斯朴素贝叶斯分类器是一种基于概率统计的分类算法，在Python中有多种实现方法。其中一种实现方法可以在的博客文章中找到，该文章介绍了高斯朴素贝叶斯分类器的原理和Python实现。另外，在的文章中也介绍了Python实现的朴素贝叶斯分类器，并给出了具体的定义和使用技巧。 高斯朴素贝叶斯分类器的原理是基于概率论中的贝叶斯定理，通过计算样本的概率来进行分类。在该分类器中，假设每个特征的概率分布都服从高斯分布，即正态分布。具体来说，对于每个特征，根据训练数据计算出每个类别下该特征的均值和方差，然后通过高斯分布公式计算出样本在每个类别下的概率，最后根据概率大小进行分类。 高斯朴素贝叶斯分类器的优点包括：简单、速度快、对于多分类问题有效、在分布独立的假设成立的情况下，效果较好。与逻辑回归相比，需要的样本量更少一些，并且对于类别型特征效果非常好。 然而，高斯朴素贝叶斯分类器也存在一些缺点。例如，如果测试集中的某个类别变量特征在训练集中没有出现过，直接计算概率时会得到0，导致预测功能失效。为了解决这个问题，可以使用平滑技术，如拉普拉斯估计。此外，高斯朴素贝叶斯分类器假设特征之间是独立的，在现实生活中这种假设很难成立。 高斯朴素贝叶斯分类器在文本分类、垃圾文本过滤、情感分析等场景中应用广泛。对于文本相关的多分类实时预测，由于其简单和高效的特点，也被广泛应用。此外，高斯朴素贝叶斯分类器和协同过滤是推荐系统中常用的组合，能够增强推荐的覆盖度和效果。 综上所述，高斯朴素贝叶斯分类器在Python中有多种实现方法，可以根据具体的需求选择适合的方法进行使用。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [【概率图模型】（一）高斯朴素贝叶斯分类器(原理+python实现）](https://blog.csdn.net/u013066730/article/details/125821190)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [Python实现的朴素贝叶斯分类器示例](https://download.csdn.net/download/weixin_38721565/12871135)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值