编程题汇总1

1.推导最小二乘法公式，并且通过几何来解释意义。

最小二乘公式寻找一条线性直线，该直线使得观测到的残差平方和最小。设$(x_i,y_i)\in D$, $D$是样本集，设样本集大小为$n$，则想寻找a和b使得
$Loss=\frac{1}{2}\sum_{i=1}^{n}(y_i-(ax_i+b))^2$——(1)
最小，则让$Loss$对$a$和$b$求偏导有
$\frac{\partial Loss}{\partial a}=0$ ——(2)
$\frac{\partial Loss}{\partial b}=0$ ——(3)
代入loss有
$\sum_{i=1}^{n}(y_i-(ax_i+b))x_i=0$ ——(4)
$\sum_{i=1}^{n}(y_i-(ax_i+b))=0$ ——(5)
由(5)式可得,($\sum_{i=1}^{n}$简化为$\sum$)
$b=\frac{\sum y_i-a\sum x_i}{n}$——(6)
(6)式带回(4)式得到
$\sum y_ix_i-\sum(ax_i+b)x_i=0$
$\sum y_ix_i-a\sum x_i^2-b\sum x_i=0$
$\sum y_ix_i-a\sum x_i^2-\frac{\sum y_i-a\sum x_i}{n}\sum x_i=0$
$n\sum y_ix_i-an\sum x_i^2-(\sum y_i-a\sum x_i)\sum x_i=0$
$n\sum y_ix_i-an\sum x_i^2-\sum y_i\sum x_i-a\sum x_i\sum x_i=0$
$a=\frac{n\sum{x_iy_i}-\sum{y_i}\sum x_i}{n\sum x_i^2 -(\sum x_i)^2}$ ——(7)
(7)式带回(6)式
$b=\frac{1}{n}(\sum y_i-\frac{n\sum{x_iy_i}-\sum{y_i}\sum x_i}{n\sum x_i^2 -(\sum x_i)^2} \sum{x_i})$
$b=\frac{1}{n}(\frac{n\sum y_i\sum x_i^2-\sum y_i(\sum x_i)^2-n\sum x_iy_i\sum x_i+\sum y_i (\sum x_i)^2}{n\sum x_i^2 -(\sum x_i)^2} )$
$b=(\frac{\sum y_i\sum x_i^2-\sum x_iy_i\sum x_i}{n\sum x_i^2 -(\sum x_i)^2} )$——(8)
几何意义，见下图

几何解释就是求一条直线，使得$y$方向的偏差和最小

---

2.动态规划问题. 青蛙爬井问题(1)：已知一个井高10米，青蛙可以选择跳1米或者跳3米。
1）问一共有多少种跳法
设$f(n)$函数为青蛙面对一个n米高的井的跳法总数。则
$f(n)=f(n-1)+f(n-3)$——(1)
且
$f(1)=1$
$f(2)=1$
$f(3)=2$
以此类推
$f(4)=f(1)+f(3)=3$
$f(5)=f(2)+f(4)=4$
$f(6)=f(3)+f(5)=6$
$f(7)=f(4)+f(6)=9$
$f(8)=f(5)+f(7)=13$
$f(9)=f(6)+f(8)=19$
$f(10)=f(7)+f(9)=28$
2) 求通项公式
可以将递推公式(1)写成
$f(n)=f(n-1)+f(n-3)$
$[f(n), f(n-1), f(n-2)]= \begin{bmatrix} 1& 0 &1 \\ 1& 0& 0\\ 0& 1& 0 \end{bmatrix} \begin{bmatrix} f(n-1) \\ f(n-2)\\ f(n-3) \end{bmatrix}$——(2)
令
$A=\begin{bmatrix} 1& 0 &1 \\ 1& 0& 0\\ 0& 1& 0 \end{bmatrix}$
则
$[f(n), f(n-1), f(n-2)]= A^{n-3} \begin{bmatrix} f(3) \\ f(2)\\ f(1) \end{bmatrix} = A^{n-3} \begin{bmatrix} 2 \\ 1\\ 1 \end{bmatrix}$——(3)
把矩阵$A$对角化有
$A=VDV^{-1}$ ——(4)
$[f(n), f(n-1), f(n-2)]= VD^{n-3}V^{-1} \begin{bmatrix} 2 \\ 1\\ 1 \end{bmatrix}$——(5)
这一步太难算了，我用matlab偷懒了一下

[V, D] = eig(A)

D =

1.4656 + 0.0000i 0.0000 + 0.0000i 0.0000 + 0.0000i
0.0000 + 0.0000i -0.2328 + 0.7926i 0.0000 + 0.0000i
0.0000 + 0.0000i 0.0000 + 0.0000i -0.2328 - 0.7926i
V =

-0.7710 + 0.0000i 0.3916 + 0.2518i 0.3916 - 0.2518i
-0.5261 + 0.0000i 0.1588 - 0.5408i 0.1588 + 0.5408i
-0.3589 + 0.0000i -0.6823 + 0.0000i -0.6823 + 0.0000i
验证 n=10事是否正确。 $A^7=VD^7V^{-1}=$
9.0000 - 0.0000i 4.0000 + 0.0000i 6.0000 + 0.0000i
6.0000 + 0.0000i 3.0000 - 0.0000i 4.0000 + 0.0000i
4.0000 - 0.0000i 2.0000 + 0.0000i 3.0000 - 0.0000i
则
$f(n)=9\times2+4\times1+6\times1=28$

---

3.动态规划问题. 青蛙爬井问题(2)已知一个井高n米，青蛙可以选择跳1米或者跳2米。(题目几乎一样)
$f(n)=f(n-1)+f(n-2)$
$f(2)=2$
$f(1)=1$

这类似是斐波那契数列了
特征方程为
$x^2=x+1$
特征根为
$x_1=\frac{1+\sqrt{5}}{2}$
$x_2=\frac{1-\sqrt{5}}{2}$
则
$f(x)=c_1x_1^n+c_2x_2^n$——(1)
由
$f(2)=2$
$f(1)=1$
得到
$c_1=\frac{1}{2}(1+\frac{1}{ \sqrt{5}})$
$c_2=\frac{1}{2}(1-\frac{1}{ \sqrt{5}})$
将$c_1$,$c_2$,$x_1$,$x_2$带回(1)式即可