第二周(多变量线性回归 +Matlab使用)-【机器学习-Coursera Machine Learning-吴恩达】

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/KevinBetterQ/article/details/79451560
目录:
    多变量线性回归(模型、梯度下降技巧)
    特征选择和多项式回归
    正规方程

    Matlab学习


1 多变量线性回归

1)模型

- 假设函数:


- 参数:全部的 theta
- 代价函数:和单变量回归一样

- 梯度下降:

2)梯度下降算法的实用技巧

    - 特征缩放(Feature Scaling)

    均值归一化


    u为该特征平均值;s为范围,也就是max-min

    - 学习率 alpha

    0.001,0.01,0.1……直到开始发散

    (alpha太小,收敛太慢;alpha太大可能会发散)


2 特征选择和多项式回归

特征是有很多选择的,利用一些多项式,可以实现非线性回归(特别注意特征缩放)




3 正规方程(Normal equation)

直接一次性利用公式求 参数theta

在某些线性回归中,用正规方程法求最多参数theta的最优值更好。


Octave:theta = pinv(x' * x) * x' *y


    - 辨析梯度下降和正规方程法


(在n达到一万左右时,考虑换成梯度下降法,其它时间用正规方程比较好)

    - 如果出现XTX不可逆怎么办?
    解:在Octave中实用pinv求逆矩阵,总可以给出一个值,即使不可逆
    从原因中找解决办法,造成不可逆的原因在于:
    (1)冗余的特征,2个特征关系非常密切

    (2)太多的特征值了(eg:m<=n)


4 Octave/Matlab学习:

1)基本操作:包含输入变量、矩阵
2)数据移动:装载数据文件、数据保存、矩阵简单操作
3)数据的计算:针对矩阵数据的个各种运算与方法
4)图数据:plot、
5)控制语句、函数
6)向量化
展开阅读全文

没有更多推荐了,返回首页