多元的线性回归

多元的线性回归

我把拟合${\mathbf{u}}_t={\mathbf{K}}_t{\mathbf{x}}_t+{\mathbf{k}}_t$的问题称之为多元线性回归，可能不太准确，我不知道具体怎么描述。其中${\mathbf{u}}_t,{\mathbf{k}}_t\in {\mathbb{R}}^m$，${\mathbf{x}}_t\in {\mathbb{R}}^n$，${\mathbf{K}}_t\in {\mathbb{R}}^{m\times n}$，在拟合的时候和时间$t$无关，后面的描述省略。

运动最小二乘法，定义评价函数：
$$\mathcal{J}=\sum _{i=1}^M\frac{1}{2}||{\mathbf{u}}^i-(\mathbf{K}{\mathbf{x}}^i+\mathbf{k})|{|}^2$$

首先求：
$$\frac{\partial \mathcal{J}}{\partial \mathbf{k}}=0$$
即：
$$\frac{\partial \mathcal{J}}{\partial \mathbf{k}}=\sum _{i=1}^M(\mathbf{K}{\mathbf{x}}^i+\mathbf{k}-{\mathbf{u}}^i)=0$$
整理得到：
$$\begin{array}{rl}\mathbf{k}& =\frac{1}{M}\sum _{i=1}^M{\mathbf{u}}^i-\mathbf{K}\frac{1}{M}\sum _{i=1}^M{\mathbf{x}}^i\\ & =\bar{\mathbf{u}}-\mathbf{K}\bar{\mathbf{x}}\end{array}$$

再求：
$$\frac{\partial \mathcal{J}}{\partial \mathbf{K}}=0$$
即：
$$\begin{array}{rl}\frac{\partial \mathcal{J}}{\partial \mathbf{K}}& =\sum _{i=1}^M(\mathbf{K}{\mathbf{x}}^i+\mathbf{k}-{\mathbf{u}}^i)({\mathbf{x}}^i{)}^T\\ & =\sum _{i=1}^M(\mathbf{K}{\mathbf{x}}^i({\mathbf{x}}^i{)}^T+\mathbf{k}({\mathbf{x}}^i{)}^T-{\mathbf{u}}^i({\mathbf{x}}^i{)}^T)\\ & =\sum _{i=1}^M(\mathbf{K}{\mathbf{x}}^i({\mathbf{x}}^i{)}^T+(\bar{\mathbf{u}}-\mathbf{K}\bar{\mathbf{x}})({\mathbf{x}}^i{)}^T-{\mathbf{u}}^i({\mathbf{x}}^i{)}^T)\\ & =\sum _{i=1}^M(\mathbf{K}({\mathbf{x}}^i({\mathbf{x}}^i{)}^T-\bar{\mathbf{x}}({\mathbf{x}}^i{)}^T)-({\mathbf{u}}^i-\bar{\mathbf{u}})({\mathbf{x}}^i{)}^T)=0\end{array}$$
第一步求导真的不确定，只能根据标量函数对“m乘n”矩阵求导即标量函数中对矩阵中的每个元素求导，得知求导后也是一个“m乘n”矩阵，根据标量函数对
整理可得：
$$\mathbf{K}=(\sum _{i=1}^M({\mathbf{x}}^i({\mathbf{x}}^i{)}^T-\bar{\mathbf{x}}({\mathbf{x}}^i{)}^T){)}^{-1}\sum _{i=1}^M({\mathbf{u}}^i({\mathbf{x}}^i{)}^T-\bar{\mathbf{u}}({\mathbf{x}}^i{)}^T)$$
因为
$$\sum _{i=1}^M{\mathbf{u}}^i{\bar{\mathbf{x}}}^T=(\sum _{i=1}^M{\mathbf{u}}^i){\bar{\mathbf{x}}}^T=M\bar{\mathbf{u}}{\bar{\mathbf{x}}}^T=\sum _{i=1}^M\bar{\mathbf{u}}{\bar{\mathbf{x}}}^T$$
所以：
$$\begin{array}{rl}\mathbf{K}& =(\sum _{i=1}^M({\mathbf{x}}^i({\mathbf{x}}^i{)}^T-\bar{\mathbf{x}}({\mathbf{x}}^i{)}^T-{\mathbf{x}}^i{\bar{\mathbf{x}}}^T+\bar{\mathbf{x}}{\bar{\mathbf{x}}}^T){)}^{-1}\sum _{i=1}^M({\mathbf{u}}^i({\mathbf{x}}^i{)}^T-\bar{\mathbf{u}}({\mathbf{x}}^i{)}^T-{\mathbf{u}}^i{\bar{\mathbf{x}}}^T+\bar{\mathbf{u}}{\bar{\mathbf{x}}}^T)\\ & =(\sum _{i=1}^M({\mathbf{x}}^i-\bar{\mathbf{x}})(({\mathbf{x}}^i{)}^T-{\bar{\mathbf{x}}}^T){)}^{-1}\sum _{i=1}^M({\mathbf{u}}^i-\bar{\mathbf{u}})(({\mathbf{x}}^i{)}^T-(\bar{\mathbf{x}}{)}^T)\\ & =(\sum _{i=1}^M({\mathbf{x}}^i-\bar{\mathbf{x}})(({\mathbf{x}}^i)-\bar{\mathbf{x}}{)}^T{)}^{-1}\sum _{i=1}^M({\mathbf{u}}^i-\bar{\mathbf{u}})(({\mathbf{x}}^i)-\bar{\mathbf{x}}{)}^T\end{array}$$

总结一下：
$$\begin{array}{rl}& \mathbf{K}=(\sum _{i=1}^M({\mathbf{x}}^i-\bar{\mathbf{x}})(({\mathbf{x}}^i)-\bar{\mathbf{x}}{)}^T{)}^{-1}\sum _{i=1}^M({\mathbf{u}}^i-\bar{\mathbf{u}})(({\mathbf{x}}^i)-\bar{\mathbf{x}}{)}^T\\ & \mathbf{k}=\bar{\mathbf{u}}-\mathbf{K}\bar{\mathbf{x}}\end{array}$$

上面出现了错误，$\mathbf{K}={\mathbb{R}}^{n\times n}\times {\mathbb{R}}^{m\times n}$
有没有老铁告诉我该怎么办？