回归算法注意点

1.回归算法的基本假设是：误差是独立且有相同分布，通常情况下服从高斯分布其均值为0。

2.回归算法的推导原理。极大似然估计

3.线性回归$\theta=(X^TX)^{-1}X^Ty$

其中$X.shape=（N,D）$,N为样本个数,D为输入维度

$\theta.shape=(D,d)$,D为输入维度,d为输出维度

$y.shape=(N,d)$,N为样本个数,d为输出维度

若对X所有维度数据进行中心话处理即将每个维度上的数据-该维度上的平均值并且替代原来的X矩阵
得到的
$(X^TX)$
为关联矩阵

4逻辑回归（用作二分类问题）
运用sigmoid函数将output映射到[0,1]上的概率空间。然后进行回归推导
$h_{\theta}(x)=g(\theta^T)=\frac{1}{1+e^{-\theta^Tx}}$

5 Ridge Regression
在误差计算上引入一个关于 $\theta$ 的Bias，并且引入控制变量$\lambda$

$\xi=||X\theta-Y||^2+\lambda||\theta||^2$

最终结果

$\theta=(X^TX^{-1}+\lambda I)^{-1}X^Ty$

通过$\lambda$来控制模型的复杂程度