coursera Machine Learning Week2 学习笔记

Part4: Linear Regression with Multiple Variables

    进入多变量线性回归~在看视频的时候发现了视频里面的一个错误:在Normal Equation的第8分钟左右,那个x的上下标写反了,应该是上标为1,2,3,4,下标一直为1.

    多变量线性回归其实就是在单变量线性回归的基础上进行推广，很多公式都是直接在单变量线性回归的基础上进行矩阵化的改写，下面列出多变量线性回归的公式。

    首先是假设函数：

    这里第二个公式就是矩阵化的一个写法，θ为一个n+1*1的矩阵，X为一个n+1*m的矩阵（X在原来的基础上在左边加上一列X0=1,另m为元组个数）。

    接下来是代价函数，仍然和单变量线性回归一样：

    最后是梯度下降法的更新公式，偏导求导之前的公式和单变量线性回归一致：

    如果把偏导求解出来的话，

    好了，基本上公式没有太大的变化。这部分视频中还讲解了一些其他的部分：

    数据缩放：简单的来说就是数据的规范化的一种。如果一个属性中数值的范围是1~2000，另一个属性中数值的范围是1~5，那么可以想象这对于计算的时候肯定非常的不方便，算法的运算效率也会降低，所以需要把一些范围很大的数据进行规范化，课程中介绍的方法是

   

    其实还有很多数据规范化的方法，比如z分数规范化：

   

    其中A为x的均值，σ为x的标准差；

    以及小数定标规范化：

    其中j是使得max(|x'|)<1的最小整数。

    Learning rate的选择：在梯度下降法中，一个合适的Learning Rate应该能够让代价函数不断的减少，如果发现代价函数不降反升，那么很有可能就是Learning rate过大。同时如果Learning rate过小，会导致算法的运行效率缓慢。如何找到一个合适的Learning rate呢？课程中教授的方法是0.001，0.003，0.01，0.03，0.1，0.3，1这样不断的尝试，每次将上次的Learning rate*3。

    Normal Equation：使用最小二乘法的方法进行θ的计算，公式为

    课程没有给出证明……我尽力尝试下能否给出这个公式的证明。另外Normal Equation的好处就是无需选择Learning rate，无需迭代，一次完成，在维度n较小(课程中给出的阀值为10000)的时候运算速度比较快，但是后面的很多算法无法应用；而梯度下降法则是相反，而且后面的很多算法需要以梯度下降法作为基础。另如果发现矩阵不可转置，一种可能是x的属性中存在重复(同一个量不同单位比如米和英尺)，或者m<n，m为元组个数，n为属性个数。

Part 5:Octave Tutorial

    介绍Octave的基本用法，这里就不再阐述。