机器学习线性回归中，用矩阵求导方法求最小二乘法的方法

在我们推导最小二乘法的时候，Andrew提供了两种方法，一个是梯度下降法则，另一个是矩阵求导法则。后来在《机器学习实战里》面看线性回归代码的时候，里面就是用了矩阵求导法则。要看懂矩阵求导法则，是需要一些矩阵论的知识的，还记得今年夏天我在苦逼地到处求矩阵论地速成资料，还真让我找到了，名字叫《matrix+vector+derivatives+for+machine+learning》，这本书我已经上传到我地资源库，发现下载地人很少！ 啧啧！这么好地书！
下面我们重温一下Andrew的最小二乘法推导，并把Andrew省略的推导部分（矩阵论的部分）给补全。





以上就是Andrew的证明，但是仅仅这样的话，对于没有基础的同学来说是懵逼的，关键就在画红线的部分，那个是怎么来的呢？
接下来就是矩阵论里的一些基本概念，为这个证明做铺垫的。

至于变量多次出现法则是什么，请百度吧，很简单的。
好了接着Andrew老师的证明

证明完成！