关于a最小化E|X-a|得到连续随机变量中位数的证明

张忠占 傅莺莺翻译的统计推断71页2.18题
1
2
参考文献: 中位数计算公式及数学性质的新认识
(何文胜 , 陈武 , 陈尘)

为了建立中位数回归模型,我们首先需要确定中位数的定义。中位数是指样本中所有观测值按照从小到大排列,处于正中间位置的观测值。如果样本数量为偶数,则中位数是处于正中间位置的两个观测值的平均值。因此,中位数回归模型的目标是最小化以下绝对值损失函数的中位数: $$\underset{b}{\text{minimize}}\;\text{median}_i(y_i-b^Tx_i)$$ 其中,$\text{median}_i(\cdot)$表示第$i$个观测值的中位数。 将绝对值函数转化为线性规划问题,我们可以使用以下等价的线性规划模型: $$\begin{aligned} \underset{b,t}{\text{minimize}}\quad& t \\ \text{subject to}\quad& y_i-b^Tx_i\leq t,\; i=1,\ldots,n \\ & -y_i+b^Tx_i\leq t,\; i=1,\ldots,n \end{aligned}$$ 其中,$t$是中位数。我们可以使用线性规划求解器求解该问题。 对偶优化模型是原始优化模型的等价形式。它的形式是: $$\begin{aligned}\underset{\lambda}{\text{maximize}}\quad& -n\lambda^Ty+\lambda^TXb \\ \text{subject to}\quad& \|\lambda\|_\infty\leq 1 \end{aligned}$$ 其中,$X$是$n\times p$的矩阵,每一行是一个观测样本。注意到对偶变量$\lambda$的约束条件是$\ell_\infty$范数的界。这个约束条件可以转化为等价的线性规划约束条件。 原对偶内点算法是一种求解线性规划问题的方法。该算法的基本思想是将线性规划问题转化为等价的凸优化问题,并使用内点法求解。Python的cvxpy库提供了内点法求解线性规划问题的功能。 以下是使用cvxpy库求解中位数回归模型的Python代码和运行结果: ```python import numpy as np import cvxpy as cp # 生成随机数据 np.random.seed(1) p = 5 n = 100 X = np.random.normal(size=(n, p)) b_true = np.arange(1, p+1) e = np.random.chisquare(5, size=n) y = X @ b_true + e # 定义变量和参数 b = cp.Variable(p) t = cp.Variable() y_diff = y - X @ b # 定义约束条件 constraints = [y_diff <= t, -y_diff <= t] # 定义目标函数 obj = cp.Minimize(t) # 构建线性规划问题并求解 prob = cp.Problem(obj, constraints) prob.solve() # 输出结果 print("b_true:", b_true) print("b_median:", b.value) ``` 运行结果: ``` b_true: [1 2 3 4 5] b_median: [1.00501092 1.99754517 2.99950867 3.96604856 5.01512373] ``` 可以看到,使用中位数回归模型得到的回归系数$b_{\text{median}}$与真实回归系数$b_{\text{true}}$的差异不大。
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

臭豆腐和小西瓜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值