多元线性回归

标签: 学习笔记
14人阅读 评论(0) 收藏 举报
分类:

多元变量梯度下降

repeat until convergence:{θ0:=θ0α1mi=1m(hθ(x(i))y(i))x0(i)θ1:=θ1α1mi=1m(hθ(x(i))y(i))x1(i)θ2:=θ2α1mi=1m(hθ(x(i))y(i))x2(i)}

特征缩放与均值归一化

为了使梯度下降能够更快的收敛,对于取值范围很大或者很小的特征,进行特征缩放与均值归一化处理。

xi:=xiμisi

其中,μi是特征i的均值,si是特征i的取值区间长度或者标准差。

学习率(leanring rate,α

调试梯度下降

画图观察梯度下降法每次迭代的代价函数值J(θ),如果J(θ)增大,说明应该减小α

自动收敛检验

如果在J(θ)的一次迭代中,减小的值小于103,则认为代价函数已经收敛。然而在实际操作中其实很难选到这种阈值。

如果α过小,收敛速度会很慢;
如果α过大,代价函数值不会在每次迭代时减小,所以不会收敛。

多项式回归

对于假设函数hθ(x)=θ0+θ1x1,可以基于x1构造新的特征x12x13x1,以此得到二次函数hθ(x)=θ0+θ1x1+θ2x12,三次函数hθ(x)=θ0+θ1x1+θ2x12+θ3x13,和平方根函数hθ(x)=θ0+θ1x1+θ2x1

以三次函数hθ(x)=θ0+θ1x1+θ2x12+θ3x13为例,选择新的特征x2=x12x3=x13,就可以将三次函数拟合到三元线性函数hθ(x)=θ0+θ1x1+θ2x2+θ3x3,就可以使用多元线性回归来进行求解。

需要注意的是构造新的特征后,特征缩放变得尤为重要。

正规方程法

分别对n个特征变量求偏导数,偏导数等于0求θ
J(θ)θj=0,for j=0,1,,n

θ=(XTX)1XTy

Y=Xθ
XTY=XTXθ
(XTX)1XTY=θ

梯度下降法与正规方程法对比

梯度下降法 正规方程法
需要选择学习率α 不需要选择α
需要经过多次迭代计算 不需要迭代计算
在特征数量n很大时,依然可以有效计算 在n很大时,由于要计算(XTX)1,矩阵维度变大使计算量变大,计算缓慢
计算时间复杂度o(kn2) 时间复杂度o(n3)

XTX不可逆问题

造成XTX不可逆的问题主要有两个:
1. 多余的特征,比如两个特征可以通过线性关系相互表示
2. 特征数目过多,mn,删除某些特征或者使用正则化

查看评论

机器学习回归篇-多元线性回归

多简单线性回归相比,多元线性回归不过是多了几个自变量x
  • ewfwewef
  • ewfwewef
  • 2016-11-06 15:45:43
  • 3911

多元线性回归分析预测

  • 2010年04月23日 21:01
  • 200KB
  • 下载

7.4多元线性回归实例1--python机器学习

参考彭亮老师的视频教程:转载请注明出处及彭亮老师原创 视频教程: http://pan.baidu.com/s/1kVNe5EJ 1. 例子     一家快递公司...
  • qq_16365849
  • qq_16365849
  • 2016-08-17 09:28:30
  • 4882

tensorflow 实现多元线性回归(tensorflow1.4.0)

线性回归的原理,可以参考其他博客,这里主要贴一下代码,记录一下遇到的问题。 import tensorflow as tf import numpy as np #生成一千个点 x_data...
  • qq_30879741
  • qq_30879741
  • 2018-01-21 16:47:12
  • 217

多元线性回归示例

今天主要说一下,监督学习里的多元线性回归模型算法的运用,下面就看一下这个例子:主要的例子来理解多元线性回归,公式代码相结合(参考斯坦福机器学习笔记): `import numpy as np imp...
  • qq_39533608
  • qq_39533608
  • 2017-09-07 09:46:43
  • 254

多元线性回归c++算法

  • 2011年04月04日 15:06
  • 5KB
  • 下载

多元线性回归模型的几何意义

模型设定与假设 多元线性回归与一元线性回归在思想上并没有太大的不同 ,不过是多了一些变量罢了。考虑问题的角度要从之前的二维空间进阶到高维空间。传统的多元线性回归模型可以用矩阵来描述。 按照OL...
  • liunian920305
  • liunian920305
  • 2017-06-19 09:01:45
  • 438

tensorflow -多元线性回归编程(二)

参考:https://segmentfault.com/a/1190000007969901二话不说先上代码: 代码中需要引用数据的下载地址: http://openclassroom.stanf...
  • U201017971
  • U201017971
  • 2017-12-29 11:18:46
  • 178

机器学习算法学习二:多元线性回归

多元线性回归 能用office07发布简直是太好了,这下子省了很多事。 1、多元线性回归模型 假定被解释变量与多个解释变量之间具有线性关系,是解释变量的多元线性函数,称为多元线性回归模型...
  • oMandrake
  • oMandrake
  • 2015-10-25 00:12:09
  • 4858

机器学习常用算法一:多元线性回归

多元线性回归
  • itJed
  • itJed
  • 2017-09-07 11:15:18
  • 604
    个人资料
    等级:
    访问量: 138
    积分: 62
    排名: 162万+
    文章分类
    文章存档