R语言与函数估计学习笔记（函数展开）

函数估计

说到函数的估计我们可以肯定的一点是我们很难得到原模型的函数，不过我们可以找到一个不坏的函数去逼近它，所以我们的函数估计从函数展开开始说起。

函数展开

Taylor展开

首先不得不提的就是大名鼎鼎的Taylor展开，它告诉我们一个光滑的函数在x=t的一个邻域内有Taylor展式\[ f(x)\approx\sum_{j=0}^{p}\frac{f^{(j)}(t)}{j!}(x-t)^{j}=\sum_{j=0}^{p}\beta_{j}(x-t)^{j} \]它给我们的一个重要启示就是我们可以把我们感兴趣的函数拆解成若干个简单函数\( q_{0}(x),q_{1}(x)\cdots, \)的线性组合。\[ f(x)=\sum_{j=0}^{p}\beta_{j}q_{j}(x) \]那么还剩一个问题，就是\( q_{j}(x) \)选什么。当然一个简单的选择就是\( q_{j}(x)=x^{j} \),或者我们取\( t=\overline{x},q_{j}(x)=(x-\overline{x})^{j} \)。我们来看看这组函数基\( q_{j}(x)=x^{j} \)对标准正态密度函数的估计效果：

x <- seq(-3, 3, by = 0.1)
y <- dnorm(x)
model <- lm(y ~ poly(x, 2))
plot(y, type = "l")
lines(fitted(model), col = 2)

summary(model)

## 
## Call:
## lm(formula = y ~ poly(x, 2))
## 
## Residuals:
##      Min       1Q   Median       3Q      Max 
## -0.07901 -0.06035 -0.00363  0.05864  0.10760 
## 
## Coefficients:
##              Estimate Std. Error t value Pr(>|t|)    
## (Intercept)  1.64e-01   8.09e-03    20.2   <2e-16 ***
## poly(x, 2)1 -1.77e-16   6.32e-02     0.0        1    
## poly(x, 2)2 -9.79e-01   6.32e-02   -15.5   <2e-16 ***
## ---
## Signif. codes:  0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1
## 
## Residual standard error: 0.0632 on 58 degrees of freedom
## Multiple R-squared:  0.805,  Adjusted R-squared:  0.799 
## F-statistic:  120 on 2 and 58 DF,  p-value: <2e-16

从图像上来看，这个拟合不是很好，我们可以认为是p较小造成的，一个解决办法就是提高p的阶数，令p=10我们可以试试：

model1 <- lm(y ~ poly(x, 10))
x <- seq(-3, 3, by = 0.1)
y <- dnorm(x)
model <- lm(y ~ poly(x, 2))
plot(y, type = "l")
lines(fitted(model), col = 2)
lines(fitted(model1), col = 3)

summary(model1)

## 
## Call:
## lm(formula = y ~ poly(x, 10))
## 
## Residuals:
##       Min        1Q    Median        3Q       Max 
## -3.86e-04 -2.03e-04