吴恩达机器学习笔记---向量化

前言

 向量化可以通过使用系统内置的线性代数库或者数值线性代数库，大大减少代码的数量和运行的时间

向量化(Vectorization)

       在之前讲多变量线性回归的时候，假设函数$h$如下：

       要想表示出假设函数，我们可以通过未向量化的代码通过累加${\theta }_j$$x_j$获得，也可以直接通过向量化，把$\theta$和$x$看作向量，直接计算它们的内积，之后一步得到：

       通过C++的例子可以很明显的看出两者的区别：

       接下来，我们将向量化运用到线性回归算法的梯度下降中。模型参数更新规则如下：

       假设$n$=2，即有两个特征变量，可以得到：

       这时候，我们把$\theta$看做一个向量，然后用$\theta$-$\alpha$ 乘以某个别的向量$\delta$ 来更新$\theta$，很明显，$\delta$=$\frac{1}{m}\sum _{i=1}^m(h\theta (x^{(i)})-y^{(i)})x^{(i)}$。也就是模型参数$\theta$的更新规则可以表示为：
        $\theta =\theta -\alpha \delta$
        $\delta =\frac{1}{m}\sum _{i=1}^m(h\theta (x^{(i)})-y^{(i)})x^{(i)}$

       再深入一点，$\delta \text{=}\left[\begin{array}{c}{\delta }_0\\ {\delta }_1\\ {\delta }_2\end{array}\right]$，${\delta }_j=\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)}$。其中，$x^{(i)}\text{=}\left[\begin{array}{c}{x}_0^{(i)}\\ x_1^{(i)}\\ x_2^{(i)}\end{array}\right]$。$h_{\theta }(x^{(i)})-y^{(i)}$是一个常数，$x^{(i)}$是$n+1$维的，所以$\delta$也是$n+1$维的。我们就可以这样一步步地将所有变量有向量的形式表示出来。在上一篇中，用Python计算代价函数就是利用的向量化。