吴恩达机器学习笔记(三)——矩阵运算

                                                矩阵运算

1 主要内容

       在目前所学习到的算法里，当具体实现的时候很多情况下都会用到数学公式转矩阵运算的应用，在这里我以一个2X3维的特征矩阵和一个对应的目标值矩阵，以及一个参数向量来推导一遍，加深对于这方面的理解。

 

2 代价函数矩阵运算转换

       首先我们将假设函数按照向量的乘法运算得出下述值：

        经过上述的转换 已经转换成了一个新的向量，而它们的平方和可以由它们和它们的逆相乘来表示：

 

        这样以来就可以发现上述数学公式可以全部化成了矩阵（向量）运算。

       同时这里得到的矩阵运算也就是正规方程的起点，以此为基础对矩阵求偏导再利用极点的特性也能求出代价函数收敛的点。

 

代价函数的偏导矩阵运算转换

       无论是梯度下降还是优化算法对代价函数的偏导计算都是不可避免的，而这里如果能将参数的变化以矩阵的形式表示，就能方便的实现各参数的同步变换。

这里的问题就在于如何将代价函数的偏导数同步求出？

        所求出的偏导可以应用在梯度下降的过程中，也可以应用于优化算法中的函数。

 

3总结

        同理逻辑回归的代价函数与梯度下降也可以使用矩阵运算，同时上述的运算也可以用for循环来实现，但是不如矩阵实现直观和方便。