凸优化第七章统计估计 7.5 实验设计

最新推荐文章于 2022-11-17 21:14:14 发布

使君杭千秋

最新推荐文章于 2022-11-17 21:14:14 发布

阅读量247

点赞数 1

分类专栏：凸优化

原文链接：https://blog.csdn.net/wangchy29/article/details/87471247

版权

凸优化专栏收录该内容

62 篇文章 47 订阅

订阅专栏

7.5 实验设计

松弛实验设计问题
标量化

考虑通过测量或实验： $y_i=a_i^Tx+w_i,i=1,\cdots m$ 估计向量 $x \in R^n$ 的问题，其中 $w_i$ 是测量噪声。假设 $w_i$ 是独立同分布的高斯噪声，均值为0，方差为1。

于是x的最大似然估计，也是最小方差估计：

$minimize \, \,\sum_{i=1}^m (y_i-a_i^Tx)^2=\sum_{i=1}^m(x^Ta_ia_i^Tx-2y_ia_i^Tx+y_i^2)$

目标函数对x求偏导，得到：

$2\sum_{i=1}^m(a_ia_i^T)x2\sum_{i=1}^ma_iy_i^Tx=2\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^ma_iy_ix2\\ =\sum_{i=1}^m(a_ia_i^T)x-2\sum_{i=1}^my_ia_ix$

令其为0，解得 $x=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ ，故极大似然估计的解为： $\hat{x}=(\sum_{i=1}^ma_ia_i^T)^{-1}\sum_{i=1}^my_ia_i$ 相应的估计误差： $e=\hat{x}-x$ 均值为0，协方差矩阵：

$E=\boldsymbol{E}(ee^T)=(\sum_{i=1}^ma_ia_i^T)^{-1}$

矩阵E刻画了估计经度或是实验的信息度。

例如x的 $\alpha$ -置信水平椭圆为： $\varepsilon =\left \{ z|(z-\hat{x})^TE^{-1}(z-\hat{x})\leq \beta \right \}$

其中 $\beta$ 是常熟，由n和 $\alpha$ 决定。

假设刻画测量值的向量 $a_1,\cdots a_m$ 可以从p中可能的检验向量 $v_1,\cdots v_p \in R^n$ 进行选择，即每个 $a_i$ 是 $v_j$ 中的一个。

实验设计：从 $\left\{v_1,\cdots ,v_p \right \}$ 选择 $a_i$ 以使得E极小。

令 $m_j$ 表示 $a_i$ 选择值 $v_j$ 得试验次数，则 $m_1+\cdots +m_p=m$ ，于是协方差矩阵可以描述为：

$E = (\sum_{i=1}^ma_ia_i^T)^{-1}=(\sum_{j=1}^pm_jv_jv_j^T)^{-1}$

于是实验设计问题可以表述为：

$minimize \, \,(\sum_{j=1}^pm_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, m_i \geq 0,m_1+\cdots +m_p=m,m_i \in Z$

Z表示整数。

松弛实验设计问题

因为实验设计问题对 $m_i$ 的征整数的约束们额头很难求解，于是提出松弛实验设计问题。

在 $m\gg p$ 的时候，令 $\lambda_i=m_i/m$ 表示 $a_i=v_i$ 的试验次数与总的试验次数的比值，忽略对 $m_i$ 的整数约束，于是得到：

$minimize (S_+^n)\, \,1/m(\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

其中 $\lambda \in R^p$ 。

标量化

D-最优设计

极小化误差协方差矩阵E的绝对值，即设计实验，计息哦啊好对应的执行椭球的体积，忽略E中的常数 $1/m$ ，对目标函数求导，得到：

$minimize (S_+^n)\, \,log(det((\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} ))\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

此问题是一个凸优化问题。

E-最优设计

极小化误差协方差矩阵的范数，即E的最大特征值，即：

$minimize (S_+^n)\, \,\begin{Vmatrix} (\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \end{Vmatrix}_2\\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

也可以写成：

$minimize (S_+^n)\, \,t \\ subject \, \, to \, \, (\sum_{j=1}^p\lambda_jv_jv_j^T)\geq tI,\lambda \geq 0,\boldsymbol{1}^T\lambda =1$

其中 $t \in R$

A-最优设计

极小化误差协方差矩阵的迹，即：

$minimize (S_+^n)\, \,tr (\sum_{j=1}^p\lambda_jv_jv_j^T)^{-1} \\ subject \, \, to \, \, \lambda \geq 0,\boldsymbol{1}^T\lambda =1$

最优设计实验及对偶

D-最优实验设计的对偶问题：

$minimize \, \, log(det(W))+nlogn \\ subject \, \, to \, \, v_i^TWv_i\leq 1,i=2, \cdots p$

优化变量 $W \in S^n$ ，定义域为 $S^n_{++}$ 。

解释：最优解 $W^*$ 决定了一个以原点为中心，包含点 $v_1,\cdots v_p$ 的最小体积椭球 $\left \{ x|x^TW^*x\leq 1 \right \}$

根据互补松弛性有， $\lambda_i^*(1-v_i^TW^*v_i)=0,i=1,\cdots ,p$ 。

来源：https://blog.csdn.net/wangchy29/article/details/87471247

使君杭千秋

关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
凸优化第七章统计估计 7.5 实验设计

7.5 实验设计松弛实验设计问题标量化考虑通过测量或实验：估计向量的问题，其中是测量噪声。假设是独立同分布的高斯噪声，均值为0，方差为1。于是x的最大似然估计，也是最小方差估计：目标函数对x求偏导，得到：令其为0，解得，故极大似然估计的解为：相应的估计误差：均值为0，协方差矩阵：矩阵E刻画了估计经度或是实验的信息度。例如x的-置信水平椭圆为：其中是常熟，由n和决定。假设刻画测量值的向量可以从p中可能的检验向量进行选择，即每个是中的一个。实验设计：从选择以
复制链接

扫一扫