线性回归，加权回归，推导过程

一、普通线性回归(OLS)

损失函数：

$$J(w)=\frac{1}{n}\sum_{i=1}^{n}(y_{i}-w*x_{i})^{2}=\frac{1}{n}||Y-X*w||^{2}$$
其中： $Y$、$w$、 $x_{i}$为向量， $X$为矩阵。对该损失函数求解如下，即为对$J(w)$函数求 $w$的偏导：
$$\begin{aligned} J(w)=\frac{1}{n}||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}(Y-Xw) \\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})(Y-Xw) \\&=\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw) \end{aligned}$$
需要用到的矩阵求导公式为：
$$\frac{dBA}{dA}=B^{T}$$
$$\frac{dA^{T}B}{dA}=B$$
$$\frac{dA^{T}BA}{dA}=2BA$$
所以， $J(w)$对 $w$求导得到：
$$\begin{aligned} \frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}Y-w^{T}X^{T}Y-Y^{T}Xw+w^{T}X^{T}Xw)\right) \\&=\frac{1}{n}(0-X^{T}Y-X^{T}Y+2X^{T}Xw) \\&=\frac{1}{n}(-2X^{T}Y+2X^{T}Xw)=0 \end{aligned}$$
当 $X^{T}X$为可逆矩阵的时候，有解：
$$w=(X^{T}X)^{-1}X^{T}Y$$
因为：
$$Xw=X(X^{T}X)^{-1}X^{T}Y=\hat{Y}=\hat{H}Y$$
所以，帽子矩阵为：
$$\hat{H}=X(X^{T}X)^{-1}X^{T}$$

二、加权回归

损失函数：

$$J(w)=\frac{1}{n}\sum_{i=1}^{n}\alpha_{i}(y_{i}-w*x_{i})^{2}=\frac{1}{n}\alpha||Y-X*w||^{2}$$
同理推导：
$$\begin{aligned} J(w)=\frac{1}{n}\alpha||Y-X*w||^{2}&=\frac{1}{n}(Y-Xw)^{T}\alpha(Y-Xw) \\&=\frac{1}{n}(Y^{T}-w^{T}X^{T})\alpha(Y-Xw) \\&=\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw) \end{aligned}$$
其中， $\alpha$为是权重的对角矩阵。对 $w$求导得到：
$$\begin{aligned} \frac{dJ(w)}{dw}&=\frac{1}{dw}\left(\frac{1}{n}(Y^{T}\alpha Y-w^{T}X^{T}\alpha Y-Y^{T}\alpha Xw+w^{T}X^{T}\alpha Xw)\right) \\&=\frac{1}{n}(0-X^{T}\alpha Y-X^{T}\alpha Y+2X^{T}\alpha Xw) \\&=\frac{1}{n}(-2X^{T}\alpha Y+2X^{T}\alpha Xw)=0 \end{aligned}$$
所以，得到：
$$w=(X^{T}\alpha X)^{-1}X^{T}\alpha Y$$
加权的帽子矩阵为：
$$\hat{H}=X(X^{T}\alpha X)^{-1}X^{T}\alpha$$