多保真度建模的层次回归框架

RrS_G

于 2022-06-12 11:09:18 发布

阅读量1.2k

点赞数 2

文章标签：回归数据挖掘人工智能

本文链接：https://blog.csdn.net/RrS_G/article/details/125231245

版权

一、概括

本文提出了一个用于多保真度建模的分层回归框架，该框架结合了用于双保真度建模的分层回归器和将得到的双保真模型扩展到多保真度情况的递归方法。

二、方法

本节首先介绍用于双保真建模的层次回归函数，然后提出了一种递归方法将得到的双保真模型扩展到多保真模型的情况。

2.1. 用于双保真建模的分层回归函数

符号设置如下：

$z_i^L:=(x_i^L,y_i^L)(i=1,...,I)$ ， $z_j^H:=(x_j^H,y_j^H)(j=1,...,J)$ 。 $J\ll I$

目的：学习一个y，使得对于任意x，都有y(x)与相对应的高保真数据尽可能地近似。

为此，作者提出了一个分层回归器的双保真建模来解决这个问题。该回归器包含四个模块:低保真(LF)模块、数据拼接(DC)模块、降维(DR)模块和高保真(HF)模块(见图1)。这些模块的详细信息如下所示。

2.1.1. 低保真(LF)模块

为了从不同的角度获取输入的LF信息，LF模块将原始LF样本集 $\mathcal{Z}^L\subset \mathbb{R}^d\times \mathbb{R}$ 转换为K个新的样本集 $\mathcal{Z}^L_k\subset \mathbb{R}^{d'}\times \mathbb{R}(k=1,...,K)$ ，然后根据每个转换后的样本集 $\mathcal{Z}^L_k$ 学习LF模型 $g_k:\mathbb{R}^{d'}\rightarrow \mathbb{R}$

这里作者提出了一种确定性的样本分布变换方法——AdaBoost。AdaBoost提供了一个非常合理的方法来将原始LF样本集 $\mathcal{Z}^L$ 转换为新的，并且在每次迭代中更新的样本分布编码不同的LF信息。具体来说，原始样本集 $\mathcal{Z}^L$ 以迭代的方式被转换成 $\mathcal{Z}^L_k(k=1,...,K)$ ，对于任意k，样本 $z_i^L$ 的概率根据下式更新：

其中 $L_k(z_i^L)$ 是第i个样本 $z_i^L$ 的损失 $l_k (z_i^L)$ 的函数， $\beta_k:=\frac{\bar{L}_k}{1-\bar{L}_k} \ \ with\ \bar{L}_k = \sum_{i=1}^{I}L_k(z_i^L)P_k(z_i^L)$ 。 $Z_k := \sum_{i=1}^{I}P_k(z_i^L)\beta_k^{1-L_k(z_i^L)}$ 是一个归一化因子。另外， $L_k(z_i^L)$ 通常用以下形式：

然后，利用变换后的样本集 $\mathcal{Z}^L_k$ 分别对LF模型 $g_k$ 进行训练。本文将LF模型 $g_k$ 设置为随机森林(RFs)，也可以根据应用需求将其设置为其他类型的回归器。

2.1.2. 数据连接(DC)模块

DC模块连接输入x和其对应的LF模块输出g1(x)， g2(x)，…， gK (x)得到一个新向量:

因此上式的维度一般是很高的，这导致HF模块在高保真数据很少的情况下很难被训练好，因此要先对其进行降维。

2.1.3. 降维(DR)模块

利用PCA降维： $s(x):=Q\hat{s}(x)$ 表示降维后的输入。

2.1.4. 高保真(HF)模块

利用产生的高保真样本 ${(s(x^H_j),y_j^H)}_{j=1}^J$ 训练HF模型，由于HF样本的大小有限，作者采用了对大样本容量需求相对较小的回归器，如SVR、Lasso和梯度boosting (GB)。

在算法1和2分别概述了用于双保真建模的分层回归器的训练和测试工作流程：

2.2. 多保真度建模的递归方法

递归方法利用得到的双保真模型来解决不少于三个保真级别的多重保真问题。在不丧失一般性的前提下，本文只考虑三保真度建模问题，保真度更高的建模问题也可以用类似的方法求解。

符号设置：

三保真建模的递归方法如下所述，从第t次迭代开始(t ≤ T)：

step 1:使用算法1基于 $\mathcal{S}_0^L$ 和 $\mathcal{S}_{t-1}^M$ 生成一个MF模型 $h_t^M$ ，然后得到一个新的LF样本集 $\mathcal{S}_t^L=\{(x_i^L,h_t^M(x_i^L))\}_{i=1}^{I_1}$ 。也就是说，对于 $\mathcal{S}_0^L$ 中的每个 $x_i^L$ ，其原始的LF响应 $y_i^L$ 被替换为 $h_t^M(x_i^L)(i=1,...,I_1)$ .

step 2:通过再次使用算法1，基于 $\mathcal{S}_t^L(or\ \mathcal{S}_t^L\cup \mathcal{S}_0^M) \ and\ \mathcal{S}_0^H$ 得到HF模型 $h_t^H$ ，然后更新原始MF样本集 $\mathcal{S}_0^M$ 为 $\mathcal{S}_t^M:=\{x_i^M,(1-\eta )y_i^M+\eta h_t^H(x_i^M)\}_{i=1}^{I_2}$ 。具体来说，对于在 $\mathcal{S}_0^M$ 的每个 $x_i^M(i=1,...,I_2)$ ，它的原始MF响应 $y_i^M$ 被替换为 $(1-\eta )\cdot y_i^M+\eta\cdot h_t^H(x_i^M)$ ，其中 $\eta \in(0,1]$ 为控制MF响应变化的学习率。

step 3:增加迭代次数:t = t + 1。

当满足终端条件(即t = T)时，这个迭代过程将停止，最终的 $h_T^H$ 就是得到的HF模型(参见图2)。

该方法利用每次迭代得到的HF(MF)模型迭代更新MF(LF)样本的响应。通过这种方式，HF信息以相对较低的保真度传播到样本中，从而提高样本质量，最终得到准确的HF模型。

RrS_G

关注

2
点赞
踩
3

收藏

觉得还不错? 一键收藏
2
评论
多保真度建模的层次回归框架

目录一、概括二、方法2.1. 用于双保真建模的分层回归函数2.1.1. 低保真(LF)模块2.1.2. 数据连接(DC)模块2.1.3. 降维(DR)模块2.1.4. 高保真(HF)模块 2.2. 多保真度建模的递归方法本文提出了一个用于多保真度建模的分层回归框架，该框架结合了用于双保真度建模的分层回归器和将得到的双保真模型扩展到多保真度情况的递归方法。本节首先介绍用于双保真建模的层次回归函数，然后提出了一种递归方法将得到的双保真模型扩展到多保真模型的情况。符号设置如下：，。目的：学习一个y
复制链接

扫一扫

多保真度建模的层次回归框架

一、概括

二、方法

2.1. 用于双保真建模的分层回归函数

2.1.1. 低保真(LF)模块

2.1.2. 数据连接(DC)模块

2.1.3. 降维(DR)模块

2.1.4. 高保真(HF)模块

2.2. 多保真度建模的递归方法

“相关推荐”对你有帮助么？