正规方程求解特征参数的推导过程

本文为Coursera上吴恩达的机器学习视频中未推导的一个公式，在此不对该公式由来进行解释，只附上本公式的推导过程，涉及许多线代知识。
本文转载自：https://blog.csdn.net/chenlin41204050/article/details/78220280

设有m个训练实例，每个实例有n个特征，则训练实例集为：

其中表示第i个实例第j个特征。

特征参数为：

输出变量为：

故代价函数为：

进行求导，等价于如下的形式：

其中第一项：

第二项：

该矩阵求导为分母布局下的标量/向量形式：
故有，

第三项：

该矩阵求导为分母布局下的标量/向量形式：
故有：

第四项：

其中为标量，可看成一个常数。
该矩阵求导为分母布局下的标量/向量形式：
故有：

综上，正规方程为：

最终可得特征参数的表示：