线性回归算法入门学习

需要的数学基础

    1.矩阵基本运算
        矩阵转置
        矩阵求逆
    2.微积分
        会求微分

线性回归

    1.简介
        1.定义
            利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模

            的一种分析方式
            特点: 一个自变量称为单变量回归, 多于一个自变量称为多元回归
        2.表示方式:
            h(w)=w1x1+w2x2+....b=w(转置)x+b
        3.分类:
            线性关系
            非线性关系  
    2.线性回归的损失和优化
        损失:
            最小二乘法
        优化:
            1.正规方程
            2.梯度下降法
        算法选择:
            小规模数据
                LinearRegression/正规方程(不能解决拟合问题)
                岭回归
            大规模数据
                SGDRegression/梯度下降法(不一定找到全局极小值点)
        1.正规方程
            介绍:
                当损失函数最小时, 根据损失函数可以推导出正规方程
                利用矩阵的逆,转置进行求解
            公式:
                系数矩阵W=(XtX)-1XtY    
                    X--特征值矩阵
                    Y--目标值矩阵
                    t--为转置
                    (-1)--求逆   
            缺点:
                当特征值过多过于复杂时, 求解速度太慢且得不到结果
                只适合样本的特征比较少的情况
        2.梯度下降法
            公式:
                数学符号没法在文本上展示,略
            梯度:
                单变量 -- 切线/斜率
                多变量 -- 向量
            参数:
                α--步长, 要适中
                    α太小--下降慢
                    α太大--容易跳过极小值点
                梯度为什么要加负号:
                    梯度方向是上升最快方向, 负号即下降最快方向