Copula,最小二乘法及lasso回归, 岭回归

之前讨论班准备的笔记，截取部分保存起来。
很低沉的一天。

$Copula$函数

当边缘分布（marginal probability distribution）不同的随机变量（random variable），互相之间并不独立的时候，此时对于联合分布的建模会变得十分困难。此时，在已知多个已知边缘分布的随机变量下，Copula函数则是一个非常好的工具来对其相关性进行建模。

Copula理论首先在1959年由Sklar提出，指一个$n$维联合分布函数可以由$n$个边缘分布函数和一个Copula函数组成。Nelsen(1999)给出了Copula函数的严格定义。

$Sklar$定理(1959)

Sklar定理主要指令$F(\cdot ,\cdots ,\cdot )$为具有边缘分布$F_1(\cdot ),F_2(\cdot ),\cdots ,F_n(\cdot )$的联合分布函数，那么存在一个将边缘分布和联合分布“连接”起来Copula函数$C(\cdot ,\cdots ,\cdot )$满足:
$$F\left(x_1,x_2,\cdots ,x_n\right)=C\left(F_1\left(x_1\right),F_2\left(x_2\right),\cdots ,F_N\left(x_n\right)\right)$$
若$F_1(\cdot ),F_2(\cdot ),\cdots ,F_n(\cdot )$连续,则$C(\cdot ,\cdots ,\cdot )$唯一确定; 反之,若$F_1(\cdot ),F_2(\cdot ),\cdots ,F_n(\cdot )$为一元分布，$C(\cdot ,\cdots ,\cdot )$为相应的Copula函数,那么由上式定义的函数$F(\cdot ,\cdots ,\cdot )$是具有边缘分布$F_1(\cdot ),F_2(\cdot ),\cdots ,F_n(\cdot )$的联合分布函数。

多元正态 $Copula$ 函数

$n$元正态 $Copula$ 分布函数的表达式为:
$$C(u_1,u_2,\dots ,u_n;\rho )={\varphi }_{\rho }({\varphi }^{-1}(u_1),{\varphi }^{-1}(u_2),\dots ,{\varphi }^{-1}(u_n))$$
其中$\rho$为对角线上的元素为1的对称正定矩阵，${\varphi }_{\rho }(\cdot ,\cdots ,\cdot )$是相关系数矩阵为$\rho$的标准多元正态分布函数，${\varphi }^{-1}(\cdot )$ 是$\varphi (\cdot )$的逆函数。

多元 $t-Copula$ 函数

$$C(u_1,u_2,\dots ,u_n;\rho )=T_{\rho ,v}(T_v^{-1}(u_1),T_v^{-1}(u_2),\dots ,T_v^{-1}(u_n))$$
其中$\rho$为对角线上的元素为1的对称正定矩阵，$T_{\rho ,v}(\cdot ,\cdots ,\cdot )$表示相关系数矩阵为$\rho$、自由度为$v$的标准多元$t$分布函数，$T_v^{-1}(\cdot )$是$T_v(\cdot )$的逆函数。

阿基米德 $Copula$ 函数

阿基米德Copula( Archimedean Copula)分布函数表达式为:
C ( u 1 , u 2 , ⋯   , u n ) = ϕ − 1 ( ϕ ( u 1 ) + ϕ ( u 2 ) + ⋯ + ϕ ( u n ) ) C\left(u_{1}, u_{2}, \cdots, u_{n}\right)=\phi^{-1}\left(\phi\left(u_{1}\right)+\phi\left(u_{2}\right)+