回归分析，同时置信带

关键字：回归分析，同时置信带，相互独立，横截面数据，纵向数据

一、回归分析

1.1 定义

回归分析（regression analysis)是确定两种或两种以上变量（比如自变量与因变量，自变量也叫协变量）间相互依赖的定量关系的一种统计分析方法。运用十分广泛，通常用于预测分析。

其中为协变量，Y为因变量，f为回归函数

1.2 分类

回归分析按照涉及的变量的多少，分为一元回归和多元回归分析；

按照因变量的多少，可分为简单回归分析和多重回归分析；

按照自变量和因变量之间的关系类型，可分为线性回归分析和非线性回归分析。

如果在回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且自变量之间存在线性相关，则称为多重线性回归分析。

依据回归函数的形式不同, 回归分析可分为参数回归, 非参数回归和半参数回归

（参数回归需事先假定仅含有有限多个未知参数的回归模型, 即回归函数形式是已知的, 只是所含的参数待定. 其中最简单最常用的就是线性回归模型, 通常表示为:Y = β 1 X 1 +β 2 X 2 +···+β d X d +ε, 即此时的回归函数为自变量的线性函数. 未知参数β 1 ,β 2 ,··· ,β d 称为回归参数或回归系数. 参数回归的最大优点是模型简单, 回归结果可以外延, 易于解释和预测, 但其缺点是参数回归形式一旦固定, 就显得比较呆板, 适应性差, 且最终的拟合效果很大程度上依赖于参数模型的假定是否合理正确

非参数回归, 则与参数回归正好相反, 它无需事先假定回归函数形式, 增加了统计建模的适应性, 拟合效果较好.但是随着数据维度的增加，拟合的效果会越来越差

为了有效地结合纯粹的非参数模型和经典的参数模型的优点, 在过去的二十多年间涌现出许多的半参数模型.表示为Y = β 1 (T 1 )X 1 + β 2 (T 2 )X 2 + ··· + β d (T d )X d + ε 仍然假定响应变量与协变量之间满足线性回归关系, 但回归系数是另外一些变量的函数. 这无疑是在线性回归的简单性与多元非参数回归的灵活性之间找到了一个精美的平衡点.）

1.3 求解

对于线性回归模型, 通常采用最小二乘法和极大似然估计法

 对于非参数与半参数回归中的未知函数的常用估计方法主要有两个, 核估计法和样条估计法.

二、同时置信带（Simultaneous Confidence Band, SCB）

2.1 定义

即在未知函数 f 的整个定义域 χ 上构造一个区域, 使其包含整体未知函数曲线的概率等于事先给定的置信水平 1 − α. 用概率式子表示从动态的角度看, 这个区域可看作是一个滑动的置信区间在未知函数的定义域上移动过后的轨迹. 所以同时置信带描绘了整体未知函数的特性, 进而可以利用同时置信带对未知函数作出适当的统计推断和假设检验. 

三、补充

相互独立：A与B独立 P(A)P(B)=P(AB)

其中合并数据(pooled data)中既有时间序列数据又有横截面数据。例如，如果我们收集20年间10个国家有关失业率方面的数据，那么，这个数据集合就是一个合并数据，每个国家的20年间的失业率数据是时间序列数据，而10个不同国家每年的失业率数据又组成横截面数据。

在合并数据中有一类特殊的数据，称为panel数据(panel data)，又称纵向数据(longitudinal or micropanel data)。即同一个横截面单位，比如说，一个家庭或一个公司，在不同时期的调查数据。例如，美国商业局在一定时期间隔内对住房的调查。在每一时期的调查中，同样的(或居住在同一地区的)家庭被调查，以观察自上一次调查以来，其住房和经济状况是否有变化。纵向数据就是通过重复上述过程而得到的，它可对研究家庭行为的动态化提供非常有用的信息。

 

阅读论文随手所写 侵删：Simultaneous confidence bands for sparse functional data and high dimensional data顾莉洁