机器学习笔记_回归_1:线性回归

原创 2015年11月21日 15:32:37

线性回归的定义

  • 回归: 变量间的统计关系

  • 古典回归模型的假设
    1. 解释变量x1,,xp是非随机变量,对应的观测值是常数
    2. 等方差,且不相关(Guass-Markov):

    {E(ϵi)cov(ϵi,ϵj)=0=σ2,(i=j)0 (ij); (i,j=1,2,...,n)

    3. n>p 样本个数多于解释变量个数


一元线性模型

y=β0+β1x+ε

ε是随机变量; 且E(ε)=0;var(εi)=σ2
y为独立随机变量,不同分布;
ε为独立随机变量,同分布;

  • 回归方程: E(y|x)=β0+β1x

    => 从平均意义表达了y与x的统计规律


多元线性模型


最小二乘估计

观测样本:(xi,yi);hθ(x)=i=0mθixi=θTx

目标函数: J(θ)=12i=1m(hθ(x(i)yi))

假设条件: 噪声为均值=0的高斯分布下;

最大似然估计和最小二乘

  • 噪声为正态分布 N(0,σ2)

p(ε(i))=12πσexp((ε(i))22σ2)

=> p(y(i)|x(i);θ)=12πσexp((y(i)θTx(i))22σ2)

=> 似然函数:

L(θ)=i=1mp(y(i)|x(i);θ)=i=1m12πσexp((y(i)θTx(i))22σ2)

=> l(θ)=logL(θ)=logi=1m12πσexp((y(i)θTx(i))22σ2)=i=1mlog12πσexp((y(i)θTx(i))22σ2)=mlog12πσ1σ212i=1m(yiθTx(i))2

<=> 最大似然和最小二乘等价


最小二乘估计的性质

  • 线性回归:线性函数

  • 无偏性: E(θ^)=θ

  • 均方误差: MSE(θ^)=E[(θ^θ)2]
    若是无偏估计则: MSE(θ^)=Var(θ^)

  • 最小二乘为BLUE(最好线性无偏估计量)


版权声明:本文为博主原创文章,未经博主允许不得转载。

Machine Learning(Stanford)| 斯坦福大学机器学习笔记--第二周(1.多元线性回归及多元线性回归的梯度下降)

本博客内容来自Coursera上Andrew Ng老师的机器学习课程的。其实一开始在上课的时候我就在本子上做过一遍笔记,这次在博客上再做一遍是对课程的复习巩固,加深印象。--这篇博客的主要内容是介绍了...
  • m399498400
  • m399498400
  • 2016年09月16日 15:59
  • 982

(斯坦福机器学习课程笔记)局部加权线性回归练习

题目如下import numpy as np import random import matplotlib.pyplot as plt F64='float64' def gen_sin_dot_s...
  • qq_32231743
  • qq_32231743
  • 2016年12月14日 15:01
  • 267

机器学习(Machine Learning)心得体会(1)线性回归

本文是观看斯坦福大学吴恩达老师的机器学习视频后的一些心得体会和总结,以及作业题中的关键代码,大家可以共同讨论进步。 机器学习,我自己的理解就是让计算机去模拟人类的行为方式,也就是人工智能的一个雏形?!...
  • zongzongzong2015
  • zongzongzong2015
  • 2015年11月24日 16:11
  • 1663

机器学习方法:回归(一):线性回归Linear regression

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。开一个机器学习方法科普系列:做基础回顾之用,学而时习之;也拿出来与大家分享。数学水平有限,只求易懂,学习与工作...
  • xbinworld
  • xbinworld
  • 2015年03月19日 22:18
  • 32004

机器学习之线性回归

这个系列是我学习coursera上《机器学习》课程的笔记,边学边练。上面有一些习题,课程要求用Octave(或Matlab)完成,但是这两个软件太强大,掩盖了很多细节,而且我写Octave代码的时候,...
  • jzlxiaohei
  • jzlxiaohei
  • 2013年05月25日 15:26
  • 6073

机器学习-线性回归python简单实现

写下这篇博客只是为了当做一个记录记下来,以后可以回头看看,不至于每遇到一次都要去实现一遍。 线性回归的主要内容如下: 因为要最小化J,有两种方法,一种是最小二乘法直接求解,另一种是梯度下降...
  • Incy_1218
  • Incy_1218
  • 2016年12月14日 21:35
  • 475

机器学习入门笔记——线性回归

关于机器学习的应用场景 推荐算法 网页推荐 数据挖掘 无人驾驶 人工智能 智能医疗 … 机器学习的定义计算机程序从经验E中学习任务T。 并用度量P来衡量性能。条件是它由P定义的关于T的性能随着经验...
  • say_c_box
  • say_c_box
  • 2017年01月20日 17:49
  • 340

【机器学习笔记1】Logistic回归总结

Logistic回归总结 作者:洞庭之子 微博:洞庭之子-Bing (2013年11月) PDF下载地址:http://download.csdn.net/detail/lewsn200...
  • achuo
  • achuo
  • 2016年04月15日 11:16
  • 1119

机器学习笔记四:线性回归回顾与logistic回归

一.再看线性回归之前我们选择线性回归的时候,只是认为那些数据看上去很符合线性的样子,选择最小平方损失函数的时候,也是直接提出来的,没有考虑过为什么会是这个样子。接下来就从概率的角度来解释这些问题。 ...
  • xierhacker
  • xierhacker
  • 2016年11月24日 16:16
  • 1620

机器学习之线性回归(Linear Regression)

线性学习中最基础的回归之一,下面从线性回归的数学假设,公式推导,模型算法以及实际代码运行几方面对这一回归进行全面的剖析~...
  • July_sun
  • July_sun
  • 2016年11月18日 21:53
  • 5432
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:机器学习笔记_回归_1:线性回归
举报原因:
原因补充:

(最多只允许输入30个字)