coursera Machine Learning--吴恩达--week2 学习笔记

1多变量线性回归

（对比单变量线性回归）

1.1多变量假设：输入为多维特征。

1.2拟合函数：

这里令x0 = 1，将变量向量化，向量化的过程如下：

1.3 损失函数和梯度下降

对比单变量，损失函数知识参数变多：

梯度下降法也没有变，只是需要同时更新的参数变多：

- 参数变多，加之样本数量变多，原来的批梯度下降收敛速度慢，改进方式为：随机梯度下降

1.4 feature scaling

让所有feature具有相似的尺度，归一化到[-1,1]区间内, 归一化方法：xi=(xi-μi)/σi

1.5 多项式回归polynomial regression

除了线性回归外（图像是直线），我们也能采用多项式回归 （图像是曲线）。我们的解决办法是设变量：
举例如下假设函数：

hθ(x)=θ0+θ1x+θ2x2+θ3x3
我们的技巧是 设： x2 and x3 并且使

x2=x1^2
x3=x1^3

这样就把多项式回归，转化成了多参数线性回归。可方便计算。

2正规方程normal equation

对于最小二乘回归问题，不需要采用梯度下降更新参数，而可以根据对J（θ）函数求导后等于0，直接推出参数 的解析表达式：
θ=〖（X^T X）〗^(-1) X^T y

• 对比Normal Equation和gradient decent：
  

• 缺陷：

  • 1.如果X^T X=0,即X^T X不可求逆矩阵怎么办？– –可以删去一些冗余特征or use “regularization”
  • 2.当特征的数量特别大的时候，求矩阵的逆会非常的慢。

3 Octave

3.1 Octave安装

3.2 Octave基本操作

3.3 编程作业——Octave实现线性回归

————

参考文献：

1.https://blog.csdn.net/u012052268/article/details/78590474#t1
2.https://www.coursera.org/learn/machine-learning/supplement/HDawH/lecture-slides