贝叶斯分层回归模型的推理、EM求解和Java编程

最新推荐文章于 2024-04-08 12:16:13 发布
置顶 最新推荐文章于 2024-04-08 12:16:13 发布
阅读量3.2k 收藏 15
点赞数 2
分类专栏： 贝叶斯相关模型及程序 数据挖掘算法 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qy20115549/article/details/91411581
版权

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 。
内容可能有不到之处，欢迎交流。

未经本人允许禁止转载。

模型

如下为模型：
在这里插入图片描述
这个模型中，参数和协方差服从正太逆Wishart先验。
根据模型，给出所有变量的联合似然，即：
在这里插入图片描述

公式推理

因变量和权重的联合概率分布可表示为：
在这里插入图片描述
求对数：
在这里插入图片描述
其中，
在这里插入图片描述

EM求解

在这里插入图片描述
令：
在这里插入图片描述
在这里插入图片描述
则：
在这里插入图片描述

编程

下面，给出了EM算法迭代的核心代码：

/**EM UPDATE
	 * @author Qianyang
	 * ****/
public static Map<Integer, RealMatrix> expectationMaximizationUpdating(double []  meaninitial,RealMatrix spmpling_inverse_wishartinitial,double varianceinitial,Map<Integer,RealMatrix > xMatrixList,Map<Integer,RealMatrix > ymatrix,double epsilon) {
		//总体均值 mean input
		double [] mean = meaninitial;
		//总体协方差 covariance input
		RealMatrix   spmpling_inverse_wishart = spmpling_inverse_wishartinitial;
		//EStep
		Map<Integer,List<RealMatrix>> edata = CalculateExpectaction(mean,spmpling_inverse_wishart,varianceinitial,xMatrixList,ymatrix);
		Map<Integer,RealMatrix > wMatrixList = new HashMap<Integer,RealMatrix >();
		Map<Integer,RealMatrix > covariancematrixlist = new HashMap<Integer,RealMatrix >();
		for( int itemnumber : edata.keySet() ){
			wMatrixList.put(itemnumber, edata.get(itemnumber).get(0));
			covariancematrixlist.put(itemnumber, edata.get(itemnumber).get(1));
		}
		//Mstep
		MStepData mStepData = CalculateMaximization(wMatrixList,covariancematrixlist,xMatrixList,ymatrix);
		RealMatrix meanupdate = mStepData.getMeanupdate();
		RealMatrix covarianceupdate = mStepData.getCovarianceupdate();
		double varianceupdate = mStepData.getVarianceupdate();
		System.out.println(mStepData.getVarianceupdate());
		//获取单个产品的w矩阵及方差矩阵
		MStepData wMatrixandvariance = new MStepData();
		Map<Integer,MStepData > wMatrixandvariancemap = new HashMap<Integer,MStepData >();
		if (Math.abs(varianceupdate - varianceinitial) < epsilon) {
			System.out.println("meanupdate:"+meanupdate+"\tcovarianceupdate:"+covarianceupdate+"\tvarianceupdate:"+varianceupdate);
//			for( int itemnumber : edata.keySet() ){
//				System.out.println(itemnumber+":\t w:"+wMatrixList.get(itemnumber));
//			}
			
			
		}else{
			iter++;
			System.out.println("the current iter:\t"+iter);
			meaninitial = meanupdate.getColumnVector(0).toArray();
			spmpling_inverse_wishartinitial = covarianceupdate;
			varianceinitial = varianceupdate;
			expectationMaximizationUpdating(meanupdate.getColumnVector(0).toArray(),covarianceupdate,varianceupdate,xMatrixList,ymatrix,epsilon);
		}
		
		return wMatrixList;
	}

其中，E步的代码为：

/**E-STEP 
	 * mean is the value that sampling from multivariate normal distribution
	 * spmpling_inverse_wishart is the value that sampling from inverse wishart distribution  
	 * variance is the our difine.
	 * @author Qianyang
	 * ****/
	private static Map<Integer,List<RealMatrix>> CalculateExpectaction(double [] mean,RealMatrix   spmpling_inverse_wishart,double variance,Map<Integer,RealMatrix > xmatrix,Map<Integer,RealMatrix > ymatrix) {
		Map<Integer,List<RealMatrix>> weMap=new HashMap<Integer,List<RealMatrix>>();
		for( int itemnumber : ymatrix.keySet() ){
			RealMatrix meanmatrix = new Array2DRowRealMatrix(mean);
			//计算逆矩阵
			RealMatrix inverse_inverse_wishartMatrix = inverseMatrix(spmpling_inverse_wishart);
			//计算x*x的和除以方差
			RealMatrix xtransposematrix = xmatrix.get(itemnumber).transpose();
			RealMatrix xxMatrix = xmatrix.get(itemnumber).preMultiply(xtransposematrix).scalarMultiply(1/variance);
			RealMatrix inverse_first = inverseMatrix(inverse_inverse_wishartMatrix.add(xxMatrix));
			RealMatrix second = xmatrix.get(itemnumber).transpose().multiply(ymatrix.get(itemnumber).transpose()).scalarMultiply(1/variance).add(inverse_inverse_wishartMatrix.multiply(meanmatrix));
			RealMatrix wMatrix = inverse_first.multiply(second);
			//下面对协方差矩阵更新进行计算
			RealMatrix covariancematrix = inverseMatrix(inverse_inverse_wishartMatrix.add(xxMatrix));
//			System.out.println("covariancematrix:"+covariancematrix);
			List<RealMatrix> listRealMatrix = new ArrayList<RealMatrix>();
			//获取的w及协方差
			listRealMatrix.add(wMatrix);
			listRealMatrix.add(covariancematrix);
			weMap.put(itemnumber, listRealMatrix);
		}
		return weMap;
	}

M步的代码为：

/**M-STEP 
	 * mean is the value that sampling from multivariate normal distribution
	 * spmpling_inverse_wishart is the value that sampling from inverse wishart distribution  
	 * variance is the our define.
	  * @author Qianyang
	 * ****/
	private static MStepData CalculateMaximization(Map<Integer,RealMatrix > wMatrixList,Map<Integer,RealMatrix > covariancematrixlist,Map<Integer,RealMatrix > xmatrix,Map<Integer,RealMatrix > ymatrix) {
		//uw update
		RealMatrix meanupdate = updatew(wMatrixList).scalarMultiply(1/Double.valueOf(wMatrixList.size()));
		//covariance update 
		RealMatrix covarianceupdate = updatecovariance(wMatrixList,covariancematrixlist,meanupdate).scalarMultiply(1/Double.valueOf(wMatrixList.size()));
		//variance update 
		double varianceupdate = updatevariance(wMatrixList,xmatrix,ymatrix);
		List<RealMatrix> listRealMatrix = new ArrayList<RealMatrix>();
		MStepData datamodel = new MStepData();
		datamodel.setMeanupdate(meanupdate);
		datamodel.setCovarianceupdate(covarianceupdate);
		datamodel.setVarianceupdate(varianceupdate);
		return datamodel;
	}

该算法的完整代码在本人的Github上：https://github.com/soberqian/NIWSamplingProcess

HFUT_qianyang
关注
专栏目录
【人工智能】机器学习、深度学习、强化学习相关的核心技术，以及这些技术在促进人工智能发展、优化经济效益、解决社会问题等方面所扮演的角色、意义和作用，并探讨未来可能的发展方向
程序员光剑
09-20 2017
2019年是机器学习、深度学习、强化学习领域的鼎盛年份，各类应用的火爆让人们发现了这个领域的巨大潜力，但同时也带来了新的挑战——数据量的急剧增长，复杂性的增加，训练效率的降低，如何提高效率更是困难重重。这是一个需要长期努力的难题。本文向读者阐述机器学习、深度学习、强化学习相关的核心技术，以及这些技术在促进人工智能发展、优化经济效益、解决社会问题等方面所扮演的角色、意义和作用，并探讨未来可能的发展方向。
贝叶斯分层模型（Hierarchical Models）
weixin_43172869的博客
03-21 6255
许多统计应用涉及多个参数，这些参数可以通过问题的结构以某种方式被视为相关或连接，这意味着这些参数的联合概率模型应该反映它们的相关性。例如，在一项关于心脏治疗效果的研究中，由于j医院的患者具有生存概率θj，因此可以合理地预期θj​的估计值（代表医院样本）应该相互关联。如果我们使用先验分布，其中θj​的估计值被视为普通种群分布的样本，我们将看到这是以自然的方式实现的。这种应用的一个关键特征是，观测到的数据y ij，在以j为索引的组中以i为索引的单位，可以用来估计θj​的种群分布，即使θj。
分层贝叶斯模型——应用
weixin_30474613的博客
07-13 5361
One-Shot Learning with a Hierarchical Nonparametric Bayesian Model 该篇文章通过分层贝叶斯模型学习利用单一训练样本来学习完成分类任务，模型通过影响一个类别的均值和方差，可以将已经学到的类别信息用到新的类别当中。模型能够发现如何组合一组类别，将其归属为一个有意义的父类。对一个对象进行分类需要知道在一个合适的特征空间中每一维...
分层贝叶斯模型——结构
weixin_30344795的博客
07-13 2074
分层贝叶斯模型 对于一个随机变量序列$Y_{1},...,Y_{n} $，如果在任意排列顺序$\pi $下，其概率密度都满足$p(y_{1},...,y_{n})=p(y_{\pi_{1}},...,y_{\pi_{n}}) $，那么称这些变量是可交换的。当我们缺乏区分这些随机变量的信息时，可交换性是$p(y_{1},...,y_{n}) $的一个合理属性。在这种情况下，各个随机变...
#Python算法实现-贝叶斯模型-分层模型
Pysamlam的博客
01-28 3091
贝叶斯模型的一个核心优势就是简单灵活，可以实现一个分层模型。这一节将实现和比较整体合并模型和局部融合模型。import itertoolsimport matplotli...
分层贝叶斯模型——采样算法
weixin_30836759的博客
07-12 628
1. 蒙特卡洛估计 若$\theta$是要估计的参数，$y_{1},...,y_{n}$是从分布$p(y_{1},...,y_{n}|\theta) $中采样的样本值，假定我们从后验分布$p(\theta|y_{1},...,y_{n})$中独立随机采样$S$个$\theta$值，则$$\theta^{(1)},...,\theta^{(S)}\sim^{i.i.d.}p(\t...
贝叶斯回归
qq_39232194的博客
04-04 908
贝叶斯回归 回归模型 假设Data:{(x1,y1),...(xn,yn)}{\{(x_1,y_1),...(x_n,y_n)\}}{(x1​,y1​),...(xn​,yn​)} 对于X=(x1,x2,...xn)X={(x_1,x_2,...x_n)}X=(x1​,x2​,...xn​),每个xix_ixi​有p个特征，就是一个矩阵[x11x12...x1px21x22...x2p.........
"分层动态模型：解决人体动作识别中的时空变化问题
为了解决这个问题，我们建议一种称为分层动态模型（HDM）的概率模型。利用贝叶斯框架，允许模型同时，生成学习过程允许模型为每个动作类保留独特的动态模式。通过贝叶斯推理，我们能够量化分类的不确定性，在决策...
基于分层贝叶斯Lasso的稀疏ISAR成像算法.docx
02-23
文献[15]将贝叶斯机器学习结合应用于SAR地面动目标成像，选取拉普拉斯分布进行先验建模，利用VB-EM算法进行贝叶斯推理计算，并通过实测数据获得了高精度的恢复结果。 本文提出了一种基于贝叶斯Lasso的稀疏ISAR超...
MLAPP————第十一章 混合模型和EM算法
marmove的博客
12-17 4112
第十一章 混合模型和EM算法 11.1 隐变量模型 在第十章中，我们展示了如何用一个概率图模型去表示一个高维的联合概率分布。基本思想是通过在图中添加两个变量之间的边来建立两个变量之间的依赖关系。 另一种方法假设我们的观察到的变量是相关的，就是假设它们都受到某个隐藏的变量影响。这样的模型我们就叫做潜在变量模型(latent variable models, LVMs)，我觉得在这里要说明一下，...
winbugs14：层次贝叶斯建模软件
07-27
WinBUGS是剑桥公共卫生研究所推出的用马尔可夫链-蒙特卡罗方法进行贝叶斯推理的专用软件包。 GeoBUGS是WinBUGS中一个特别的模块，可以产生和管理空间邻接矩阵、空间条件自回归模型的计算，并为计算的结果提供图形输出功能。
用R和WinBUGS实现贝叶斯分级模型
12-15
共享有关R的资源：R和WinBUGS实现贝叶斯分级模型。欢迎下载使用。
贝叶斯主观推理算法java源码
05-25
package subjectivebayes; import java.awt.Toolkit; import javax.swing.SwingUtilities; import javax.swing.UIManager; import java.awt.Dimension; /** * Title: * * Description: * * Copyright: Copyright (c) 2010 * * Company: * * @author not attributable * @version 1.0 */ public class MyApp { boolean packFrame = false; /** * Construct and show the application. */ public MyApp() { EnterBayes frame = new EnterBayes(); // Validate frames that have preset sizes // Pack frames that have useful preferred size info, e.g. from their layout if (packFrame) { frame.pack(); } else { frame.validate(); } // Center the window Dimension screenSize = Toolkit.getDefaultToolkit().getScreenSize(); Dimension frameSize = frame.getSize(); if (frameSize.height > screenSize.height) { frameSize.height = screenSize.height; } if (frameSize.width > screenSize.width) { frameSize.width = screenSize.width; } frame.setLocation((screenSize.width - frameSize.width) / 2, (screenSize.height - frameSize.height) / 2); frame.setVisible(true); } /** * Application entry point. * * @param args String[] */ public static void main(String[] args) { SwingUtilities.invokeLater(new Runnable() { public void run() { try { UIManager.setLookAndFeel(UIManager. getSystemLookAndFeelClassName()); } catch (Exception exception) { exception.printStackTrace(); } new MyApp(); } }); } }
层次贝叶斯点集配准方法的应用和优势
1鲁棒变分贝叶斯点集配准...我们首先使用有限的Student t延迟构造这个网络-t混合模型（TLMM），其中隐变量的分布由树结构的变分推理（VI）估计，从而在贝叶斯框架下得到更紧的下界。然后，我们将TLMM分成两个不同的混合
贝叶斯模型比较
ftxv95x5的专栏
02-12 589
(学习这部分内容大约需要2.7小时) 摘要 贝叶斯模型比较框架基于计算边际似然大小来比较概率模型, 或者比较积分掉所有参数后, 模型生成给定数据的概率. 模型参数的marginalization实现了一种"奥卡姆剃刀"效应. 边际似然也可以被用于使用贝叶斯规则计算模型后验. 预备知识 这个概念需要以下预备知识: 贝叶斯参数估计: 大多数的贝叶斯模型比较也需要用到贝叶斯参数估计 贝叶斯
回归——分层回归
热门推荐
路的博客
07-29 1万+
分层回归（层次回归）本质上是建立在回归分析基础上，区别在于分层回归可分为多层，用于研究两个或者多个回归模型之间的差异。分层回归将核心研究的变量放在最后一步进入模型，以考察在排除了其他变量的贡献的情况下，该变量对回归方程的贡献。我们可以根据两个模型所解释的变异量的差异来比较所建立的两个模型。分层回归相对来说建模更具备专业意义的指导，通常将专业认为重要的变量放在最后一层，以确定在控制其他变量之后，该自变量的意义大小。上一个层次与下一个层次的拟合变化情况，用于分析多加入的变量对自变量（Y）的影响程度。...
r语言有限正态混合模型EM算法的分层聚类、分类和密度估计及可视化
大数据部落
09-17 666
原文链接：http://tecdat.cn/?p=23825 简介 本文介绍了基于有限正态混合模型在r软件中的实现，用于基于模型的聚类、分类和密度估计。提供了通过EM算法对具有各种协方差结构的正态混合模型进行参数估计的函数，以及根据这些模型进行模拟的函数。此外，还包括将基于模型的分层聚类、混合分布估计的EM和贝叶斯信息准则（BIC）结合在一起的功能，用于聚类、密度估计和判别分析的综合策略。其他功能可用于显示和可视化拟合模型以及聚类、分类和密度估计结果。 聚类 head(X) ..
【NeurIPS】神经成像时空回归模型的有效分层贝叶斯推理 Efficient Hierarchical Bayesian Inference
weixin_45378275的博客
12-23 2393
#NeurIPS # 今天分享的是NeurIPS 2021的一篇论文《神经成像时空回归模型的有效分层贝叶斯推理》 原文链接：https://arxiv.org/abs/2111.01692
分层贝叶斯模型的模型选择问题
最新发布
程序员光剑
04-08 877
分层贝叶斯模型的模型选择问题 作者：禅与计算机程序设计艺术 1. 背景介绍 分层贝叶斯模型是统计机器学习领域中一种非常重要的建模方法。它通过引入隐变量和层次结构的方式，能够更好地捕捉数据的复杂性和不确定性。这种模型广泛应用于各个领域,如自然语言处理、计算机视觉、生物信息学等。
利用贝叶斯分层模型计算回归系数的代码
06-08
下面是一个利用贝叶斯分层模型计算回归系数的R代码示例： ``` library(rstan) # 构建贝叶斯分层模型 model_code <- " data { int N; // 样本数 int K; // 自变量数 vector[K] x[N]; // 自变量 vector[N] y; // 因变量 } parameters { vector[K] beta; // 回归系数 real<lower=0> sigma; // 模型误差的标准差 } model { beta ~ normal(0, 10); // 回归系数的先验分布 sigma ~ cauchy(0, 5); // 模型误差的先验分布 y ~ normal(x * beta, sigma); // 因变量的后验分布 } " # 准备数据 data <- list( N = nrow(df), K = ncol(df) - 1, x = as.matrix(df[, -ncol(df)]), y = as.numeric(df[, ncol(df)]) ) # 运行贝叶斯分层模型 model <- stan_model(model_code = model_code) fit <- sampling(model, data = data, chains = 4, iter = 2000, warmup = 1000) # 输出回归系数的后验分布 summary(fit, par = "beta") ``` 这段代码中，我们首先定义了一个贝叶斯分层模型的代码，其中包括了数据、参数和模型的先验分布。然后，我们准备了数据，包括样本数N、自变量数K、自变量x和因变量y。接着，我们使用rstan包中的stan_model函数编译模型，并使用sampling函数运行模型，得到回归系数的后验分布。最后，我们使用summary函数输出回归系数的后验分布统计信息，包括均值、标准差、置信区间等。 需要注意的是，贝叶斯分层模型需要在Stan编程语言中进行编写，并使用rstan包在R中进行调用和运行。此外，模型参数的先验分布和MCMC采样的设置需要根据具体问题进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值