贝叶斯总结

最新推荐文章于 2024-07-19 15:45:46 发布
最新推荐文章于 2024-07-19 15:45:46 发布
阅读量536 收藏 5
点赞数 22
文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50624597/article/details/124884738
版权

文章目录

一、opencv 贝叶斯分类（官方示例）

1.1示例1

opencv官方代码小改。以坐标系上的几个标注点为训练集，用训练得到的模型把整个坐标系的点分类标注。

#include <opencv2/core.hpp>
#include <opencv2/imgproc.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/ml.hpp>
 
using namespace cv;
using namespace cv::ml;
 
int main(int, char**)
{
	// 样本数据
	int labels[4] = { 1, 1, -3, -1 };
	float trainingData[4][2] = { { 10, 10 },{ 10, 20 },{ 450, 100 },{ 150, 400 } };
	
	//	封装数据
	Mat labelsMat(4, 1, CV_32SC1, labels);
	Mat trainingDataMat(4, 2, CV_32F, trainingData);
	
 
 
	//	训练
	//	创建贝叶斯分类器
	Ptr<NormalBayesClassifier> Bayes = NormalBayesClassifier::create();
#if 1
	Bayes->train(trainingDataMat, ROW_SAMPLE, labelsMat);
#else
	Ptr<TrainData> tData = TrainData::create(trainingDataMat, ROW_SAMPLE, labelsMat);
	Bayes->train(tData);
#endif
 
 
	//	预测
	// Data for visual representation
	int width = 512, height = 512;
	Mat image = Mat::zeros(height, width, CV_8UC3);
 
	// Show the decision regions given by the SVM
	Vec3b green(0, 255, 0), blue(255, 0, 0), red(40, 80, 170);
	for (int i = 0; i < image.rows; i++)
	{
		for (int j = 0; j < image.cols; j++)
		{
			Mat sampleMat = (Mat_<float>(1, 2) << j, i);
			float response = Bayes->predict(sampleMat);
			if (response == 1)
				image.at<Vec3b>(i, j) = green;
			else if (response == -1)
				image.at<Vec3b>(i, j) = blue;
			else
				image.at<Vec3b>(i, j) = red;
		}
	}
 
	// Show the training data
	int thickness = -1;
	circle(image, Point(501, 10), 5, Scalar(0, 0, 0), thickness);
	circle(image, Point(255, 10), 5, Scalar(255, 255, 255), thickness);
	circle(image, Point(501, 255), 5, Scalar(255, 255, 255), thickness);
	circle(image, Point(10, 501), 5, Scalar(255, 255, 255), thickness);
	
	imwrite("bayes-result.png", image);        // save the image
	imshow("Bayes Simple Example", image); // show it to the user
	
	waitKey();
	return 0;
}

1.2示例2

将发热数据作为训练集，对新的数据分类

#include "opencv2/opencv.hpp"
#include "opencv2/ml.hpp"
#include <iostream>
 
using namespace cv;
using namespace cv::ml;
using namespace std;
 
int main(int argc, char** argv)
{
	//样本数据
	float trainingData[10][3] = {
	{ 34,1,1 },
	{ 35,2,2 },
	{ 36,3,3 },
	{ 37,8,4 },
	{ 38,9,5 },
	{ 39,10,6 },
	{ 40,7,7 },
	{ 41,4,8 },
	{ 42,5,9 },
	{ 43,6,10 }
	};
	float labels[10] = { 1,1,1,-1,-1,-1,0,0,0,0 };
 
	//封装数据
	Mat trainingDataMat(10, 3, CV_32FC1, trainingData);
	Mat labelsMat(10, 1, CV_32SC1, labels);				//标签值，1代表冷感冒，-1代表肺炎，0代表热感冒
 
 
	//训练
	//创建正态贝叶斯分类器
	Ptr<NormalBayesClassifier> model = NormalBayesClassifier::create();
	model->train(trainingDataMat, ROW_SAMPLE, labelsMat);
 
 
	//预测
	//已知的测试样本导入并进行分类器预测	
	float myData[3] = { 40, 8, 10 };
	Mat myDataMat(1, 3, CV_32FC1, myData);
	float r = model->predict(myDataMat);
	int result = r;
 
	//结果输出
	string output;
	switch (result)
	{
	case 1:
		output = "Cold-cold";
		break;
	case -1:
		output = "Pneumonia";
		break;
	case 0:
		output = "Hot-cold";
		break;
	default:
		output = "Healthy";
		break;
	}
	cout << endl << "The patient's disease was diagnosed as :  " << output << endl << endl;
 
	system("pause");
	return 0;
}

二、朴素贝叶斯算法实现分类以及Matlab实现

2.1开始

参考链接

http://t.csdn.cn/p6pRK

其实在学习机器学习的一些算法，最近也一直在看这方面的东西，并且尝试着使用Matlab进行一些算法的实现。这几天一直在看得就是贝叶斯算法实现一个分类问题。大概经过了一下这个过程：

看书→→算法公式推演→→网上查询资料→→进一步理解→→搜集数据集开始尝试→→写代码→→调试→→代码整理与优化→→自编代码结果与Matlab自带函数fitcnb结果对比验证→→朴素贝叶斯算法优缺点总结

经过这几天的努力，总算是把这个算法彻底弄明白了，也发现，很多算法只有自己去亲自写一写才会发现自己的不足，还是需要多努力。

2.2贝叶斯分类

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3Matlab程序实现

程序
使用Matlab实现朴素贝叶斯算法的数据来源：http://archive.ics.uci.edu/ml/machine-learning-databases/balance-scale/balance-scale.data
不多说先开始上程序吧

clc
clear
close all
data=importdata('data.txt');

%% 数据导入
A=importdata('balance-scale.data');
% data=importdata('data.txt'); %Stephen博客上程序需要小修改
wholeData=A.data; label=A.textdata;


%wholeData=data.data;
%交叉验证选取训练集和测试集
cv=cvpartition(size(wholeData,1),'holdout',0.2);%0.04表明测试数据集占总数据集的比例
trainData=wholeData(training(cv),:);
testData=wholeData(test(cv),:);
%label=data.textdata;
attributeNumber=size(trainData,2);
attributeValueNumber=5;
%%
%将分类标签转化为数据
sampleNumber=size(label,1);
labelData=zeros(sampleNumber,1);
for i=1:sampleNumber
    if label{i,1}=='R'
        labelData(i,1)=1;
    elseif label{i,1}=='B'
        labelData(i,1)=2;
    else 
        labelData(i,1)=3;
    end
end
trainLabel=labelData(training(cv),:);
trainSampleNumber=size(trainLabel,1);
testLabel=labelData(test(cv),:);
%计算每个分类的样本的概率
labelProbability=tabulate(trainLabel);
%P_yi,计算P(yi)
P_y1=labelProbability(1,3)/100;
P_y2=labelProbability(2,3)/100;
P_y3=labelProbability(3,3)/100;
%%
%
count_1=zeros(attributeNumber,attributeValueNumber);%count_1(i,j):y=1情况下，第i个属性取j值的数量统计
count_2=zeros(attributeNumber,attributeValueNumber);%count_1(i,j):y=2情况下，第i个属性取j值的数量统计
count_3=zeros(attributeNumber,attributeValueNumber);%count_1(i,j):y=3情况下，第i个属性取j值的数量统计
%统计每一个特征的每个取值的数量
for jj=1:3
    for j=1:trainSampleNumber
        for ii=1:attributeNumber
            for k=1:attributeValueNumber
                if jj==1
                    if trainLabel(j,1)==1&&trainData(j,ii)==k
                        count_1(ii,k)=count_1(ii,k)+1;
                    end
                elseif jj==2
                    if trainLabel(j,1)==2&&trainData(j,ii)==k
                        count_2(ii,k)=count_2(ii,k)+1;
                    end
                else
                    if trainLabel(j,1)==3&&trainData(j,ii)==k
                        count_3(ii,k)=count_3(ii,k)+1;
                    end
                end
            end
        end
    end
end
%计算第i个属性取j值的概率，P_a_y1是分类为y=1前提下取值，其他依次类推。
P_a_y1=count_1./labelProbability(1,2);
P_a_y2=count_2./labelProbability(2,2);
P_a_y3=count_3./labelProbability(3,2);
%%
%使用测试集进行数据测试
labelPredictNumber=zeros(3,1);
predictLabel=zeros(size(testData,1),1);
for kk=1:size(testData,1)
    testDataTemp=testData(kk,:);
    Pxy1=1;
    Pxy2=1;
    Pxy3=1;
    %计算P（x|yi）
    for iii=1:attributeNumber
        Pxy1=Pxy1*P_a_y1(iii,testDataTemp(iii));
        Pxy2=Pxy2*P_a_y2(iii,testDataTemp(iii));
        Pxy3=Pxy3*P_a_y3(iii,testDataTemp(iii));
    end
    %计算P(x|yi)*P(yi)
    PxyPy1=P_y1*Pxy1;
    PxyPy2=P_y2*Pxy2;
    PxyPy3=P_y3*Pxy3;
    if PxyPy1>PxyPy2&&PxyPy1>PxyPy3
        predictLabel(kk,1)=1;
        disp(['this item belongs to No.',num2str(1),' label or the R label'])
        labelPredictNumber(1,1)=labelPredictNumber(1,1)+1;
    elseif PxyPy2>PxyPy1&&PxyPy2>PxyPy3
        predictLabel(kk,1)=2;
         labelPredictNumber(2,1)=labelPredictNumber(2,1)+1;
        disp(['this item belongs to No.',num2str(2),' label or the B label'])
    elseif   PxyPy3>PxyPy2&&PxyPy3>PxyPy1
        predictLabel(kk,1)=3;
         labelPredictNumber(3,1)=labelPredictNumber(3,1)+1;
        disp(['this item belongs to No.',num2str(3),' label or the L label'])
    end
end
testLabelCount=tabulate(testLabel);
% 计算混淆矩阵
disp('the confusion matrix is : ')
C_Bayes=confusionmat(testLabel,predictLabel)

以上部分就是针对于这个已有的数据集进行的算法的实现。

结果与分析
C_Bayes是计算出来的混淆矩阵。
其结果为：
在这里插入图片描述
为了验证该自编程序是否可靠，我再使用了Matlab自带的贝叶斯算法的函数fitcnb进行该数据的分类测试

clc
clear
close all
data=importdata('data.txt');

%% 数据导入
A=importdata('balance-scale.data');
% data=importdata('data.txt'); %Stephen博客上程序需要小修改
wholeData=A.data; label=A.textdata;


%wholeData=data.data;
%交叉验证选取训练集和测试集
cv=cvpartition(size(wholeData,1),'holdout',0.04);%0.04表明测试数据集占总数据集的比例
trainData=wholeData(training(cv),:);
testData=wholeData(test(cv),:);
%label=data.textdata;
attributeNumber=size(trainData,2);
attributeValueNumber=5;
%%
%将分类标签转化为数据
sampleNumber=size(label,1);
labelData=zeros(sampleNumber,1);
for i=1:sampleNumber
    if label{i,1}=='R'
        labelData(i,1)=1;
    elseif label{i,1}=='B'
        labelData(i,1)=2;
    else 
        labelData(i,1)=3;
    end
end
trainLabel=labelData(training(cv),:);
trainSampleNumber=size(trainLabel,1);
testLabel=labelData(test(cv),:);
Nb=fitcnb(trainData,trainLabel);
y_nb=Nb.predict(testData);
C_nb=confusionmat(testLabel,y_nb)

其中C_nb是采用自带函数得到的结果的混淆矩阵
其结果为：
在这里插入图片描述
可以发现其结果是完全一样的。
为了进一步验证程序的可靠性，我改变了交叉验证中训练集和测试集的比例，设置为0.2，
此时采用自编程序得到的混淆矩阵为：
在这里插入图片描述
在这里插入图片描述

2.4问题

【1】为什么我用这个数据跑出来的结果和matlab内置函数结果不一样？
【回答】交叉验证的训练集和测试集是按比例随机分割的

2.6贝叶斯算法wine分类

close all;
clear;
clc;
format compact;
%% 数据提取

% 载入测试数据wine,其中包含的数据为classnumber = 3,wine:178*13的矩阵,wine_labes:178*1的列向量
load wine.mat;

% 选定训练集和测试集

% 将第一类的1-30,第二类的60-95,第三类的131-153做为训练集
train_wine = [wine(1:30,:);wine(60:95,:);wine(131:153,:)];
% 相应的训练集的标签也要分离出来
train_wine_labels = [wine_labels(1:30);wine_labels(60:95);wine_labels(131:153)];
% 将第一类的31-59,第二类的96-130,第三类的154-178做为测试集
test_wine = [wine(31:59,:);wine(96:130,:);wine(154:178,:)];
% 相应的测试集的标签也要分离出来
test_wine_labels = [wine_labels(31:59);wine_labels(96:130);wine_labels(154:178)];
Nb=fitcnb(train_wine,train_wine_labels);
y_nb=Nb.predict(test_wine)
C_nb=confusionmat(test_wine_labels,y_nb)

在这里插入图片描述

三、分类与监督学习

简述分类与聚类的联系与区别，简述什么是监督学习与无监督学习。
在这里插入图片描述
【1】监督学习：输入数据有标签，数据集的正确输出已知的情况下一类学习算法。因为输入和输出已知，意味着输入和输出之间有一个关系，监督学习算法就是要发现和总结这种“关系”。
应用：
根据人的照片预测图片中人的年龄。
对于肿瘤患者，预测肿瘤是恶性还是良性。

【2】无监督学习：输入数据没有标签，对无标签数据的一类学习算法。因为没有标签信息，意味着需要从数据集中发现和总结模式或者结构。
应用：
新闻主题分组。
市场客户群体划分。

栗子不粟
关注
  • 22
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
贝叶斯网络总结
10-31
贝叶斯网络总结介绍什么是贝叶斯网络总结，工程上怎么应用贝叶斯网络
机器学习算法总结4:朴素贝叶斯法
01-20
朴素贝叶斯法是一种在机器学习领域广泛应用的分类算法，其理论基础是贝叶斯定理和条件独立假设。该算法假设各个特征之间相互独立，这使得计算变得更加简单，但可能会降低模型的准确性。 1. **贝叶斯定理与模型**： ...
朴素贝叶斯总结
orangerfun的博客
11-14 2622
文章目录1. 简介2. 贝叶斯算法具体步骤3. 贝叶斯算法的一个实例4. QA4.1 为什么需要假设特征之间相互独立呢？4.2 朴素贝叶斯分类的优缺点5. 简单实现参考 1. 简介 朴素贝叶斯是一种基于贝叶斯定理和特征条件独立假设的分类算法。对于给定的训练数据，朴素贝叶斯先基于特征条件独立假设学习输入和输出的联合概率分布，然后基于此分布对于新的实例，利用贝叶斯定理计算出最大的后验概率。朴素贝叶斯不会直接学习输入输出的联合概率分布，而是通过学习类的先验概率和类条件概率来完成。 贝叶斯定理： P(c∣x)=P(
朴素贝叶斯法总结
weixin_42024702的博客
10-28 646
一、前述 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入输出的联合概率分布；然后基于此模型，对给定的输入xxx，利用贝叶斯定理求出后验概率最大的输出yyy。朴素贝叶斯法实现简单，学习与预测的效率都很高，是一种常用的方法。 二、朴素贝叶斯法介绍 I.模型 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率分布P(X,Y)P(X,Y)P(X,Y)，然后求得后验概率分布P(Y∣X)P(Y|X)P(Y∣X)。具体来说，利用训练数据学习P
朴素贝叶斯算法总结
freeline的博客
03-05 3591
朴素贝叶斯；拉普拉斯修正；半朴素贝叶斯；
贝叶斯算法总结
NeilGY的博客
02-25 2222
1. 朴素贝叶斯是什么   依据《统计学方法》上介绍： 朴素贝叶斯法（Naive Bayes）是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入 xx ，利用贝叶斯定理求出后验概率最大的输出 yy 。   可能读完上面这段话仍旧没办法理解朴素贝叶斯法到底是什么，又是怎样进行分类的。下面我尽...
贝叶斯网络评分函数总结
05-10
本文主要对贝叶斯网络的评分函数进行了总结。 评分函数是评估贝叶斯网络结构优劣的关键工具，它们用于在结构学习过程中选择最佳的网络结构。评分函数大致可以分为基于贝叶斯统计和基于信息理论的两类。 1. **基于...
python实现朴素贝叶斯算法
07-25
总结起来，这个压缩包提供了一个完整的Python项目，用于实现朴素贝叶斯分类器并应用到`nursery.csv`数据集上。通过运行`cut_data.py`处理数据，然后用`Naive_Bayes.py`构建和训练模型，再由`main.py`完成预测，最后`...
【18】输出字符菱形
2301_78786609的博客
07-19 345
用‘*’构造一个对角线长n个字符，倾斜放置的菱形。
(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度
qq_44962949的博客
07-17 238
【代码】(C++二叉树02) 翻转二叉树 对称二叉树 二叉树的深度。
Leetcode—207. 课程表【中等】
最新发布
Atticus的博客
07-19 291
运行结果 之后我会持续更新，如果喜欢我的文章，请记得一键三连哦，点赞关注收藏，你的每一个赞每一份关注每一次收藏都将是我前进路上的无限动力 ！！！↖(▔▽▔)↗感谢支持！
算法刷题笔记 排列数字（C++实现）
hanmo22357的博客
07-17 294
一道简单的深度优先搜索（DFS）模板题，给出了DFS问题的一般思路以及C++代码实现
24暑假算法刷题 | Day15 | LeetCode 110. 平衡二叉树，257. 二叉树的所有路径，404. 左叶子之和，222. 完全二叉树的节点个数
weixin_54468359的博客
07-17 1166
day15打卡：二叉树的递归与迭代
(算法)区间调度问题
2202_75519246的博客
07-17 234
此外,参与工作的时间段不能重复(即使是开始的瞬间和结束的瞬间的重叠也是不允许的). 你的目标是参与尽王多的工作,那么最多能参与多少项工作呢?有n项工作,每项工作分别在s时间开始,在t时间结束. 对于每项工作,你都可以选择参与与否,如果选择了参与,那么自始至终都必须全程参与.
游戏中的敏感词算法初探
555.add(111)
07-17 432
在游戏中起名和聊天需要服务器判断是否含有敏感词，从而拒绝或屏蔽敏感词显示，这里枚举一些常用的算法和实际效果。
前缀和算法——部分OJ题详解
aaqq800520的博客
07-17 994
（文章的题目解释可能存在一些问题，欢迎各位小伙伴私信或评论指点（双手合十））
《算法笔记》总结No.8——双指针
前端，算法，MATLAB，统计学爱好者，目前主攻Web全栈+考研内容
07-17 1062
去年发表过较简单的双指针案例，建议先行阅读~C++实现双指针算法_c++ 双指针排序-CSDN博客文章浏览阅读154次。本贴介绍双指针的入门典例~_c++ 双指针排序https://jslhyh32.blog.csdn.net/article/details/129829790相比说双指针是一种算法，他更倾向是一种编程技巧，话不多说直接看一个引例：如下，给定递增序列【1,3,5,7,9】，寻找到两个相加为16的元素。如果使用暴力的思想，相当于是一个双层循环：外层下标i对应的A[i]和内层下标为j的A[j]之
算法力扣刷题记录 五十【106.从中序与后序遍历序列构造二叉树】和【105.从前序与中序遍历序列构造二叉树】
danaaaa的博客
07-17 1087
构造二叉树
贝叶斯考试重点：函数与分布总结
"贝叶斯考试复习.pdf" 这篇文章是关于概率论与统计学中的一些关键分布，特别是与贝叶斯分析相关的基础知识。以下是这些分布的详细解释： 1. Gamma函数（Γ函数）： - Gamma函数在数学中是一个重要的特殊函数，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值