向量及矩阵的求导

在学习机器学习里岭回归的公式推导时，涉及到向量求导的相关数学公式推导过程，不同的是：岭回归的代价函数是在多项式回归上的代价函数上加了对参数的约束项。

这里基于最小二乘法的推导公式来求解多项式回归系数以及岭回归系数的推导过程。并附加一些向量及矩阵的求导公式。

1 岭回归的公式推导

采用最小二乘法，定义损失函数为残差的平方，最小化损失函数，公式进行直接求解正规方程为：

岭回归是对最小二乘回归的一种补充，下面是通过公式推导求解正规方程的过程为：

2 矩阵及向量求导法

最常见的向量求导公式速查表：

更多公式见：
https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities