【机器学习】9.回归中的线性度和决定系数

原创 2018年04月16日 21:47:08

1.皮尔逊相关系数

    1.1衡量两个值线性相关强度的量

    1.2取值范围:[-1,+1]

            正相关:>0,负相关:<0,不相关:=0。

    1.3

                                                            

                                                                


2.例子

                                                    


3.R平方值

    3.1定义:决定系数,反映因变量的全部变异能通过回归关系对自变量解释的比例。

    3.2描述:如R平方为0.8,则表示回归关系可以解释因变量80%的变异。即如果我们能控制自变量不变,则因变量的变异程度会减少80%。

    3.3简单线性回归:R^2=r*r

        多元线性回归:

                                                        

        式子的意思是在整体y的变换中,能由模型解释的y的变换的比例

                                                     

                                                    

        SSE+SSR=SST  (SSE值误差量)



4.R平方也有其局限性,R平方随着自变量的增加会变大,R平方和样本量是有关系的。因此为了抵消样本量对R平方的影响,我们要对R平方进行修正,修正的方法:

                                                                


5.python实现

# -*- coding: utf-8 -*-
import numpy as np
from astropy.units import Ybarn
import math

#相关性计算
def computerCorrelation(X,Y):
    xBar=np.mean(X)
    yBar=np.mean(Y)
    SSR=0
    varX=0
    varY=0
    for i in range(0,len(X)):
        diffXXBar=X[i]-xBar
        diffYYBar=Y[i]-yBar
        SSR+=(diffXXBar*diffYYBar)
        varX+=diffXXBar**2
        varY+=diffYYBar**2
        
    SST=math.sqrt(varX*varY)
    return SSR/SST
##

##决定系数计算
def polyfit(x,y,degree):
    results={}
    coeffs=np.polyfit(x,y,degree)           #传入自变量x,因变量y,线性回归最高次项次数,自动算回归方程 相关系数b0,b1,b2.。。
    results['polynomial']=coeffs.tolist()
    
    p=np.poly1d(coeffs)                     #回归线
    yhat=p(x)
    ybar=np.sum(y)/len(y)
    ssreg=np.sum((yhat-ybar)**2)
    print"ssreg:",str(ssreg)
    sstot=np.sum((y-ybar)**2)
    print"sstot",str(sstot)
    results['determination']=ssreg/sstot
    print"results",results
    return results
##

testX=[1,3,8,7,9]
testY=[10,12,24,21,34]

print"r:",computerCorrelation(testX, testY)
print"r^2:",str(computerCorrelation(testX, testY)**2)
print polyfit(testX, testY, 1)

统计学——线性回归决定系数R2

决定系数(coefficient ofdetermination),有的教材上翻译为判定系数,也称为拟合优度。 决定系数反应了y的波动有多少百分比能被x的波动所描述,即表征依变数Y的变异中有多少百分...
  • snowdroptulip
  • snowdroptulip
  • 2018-01-10 13:19:17
  • 835

机器学习笔记 (1)-线性回归模型

参考资料 《机器学习》-周志华 《寒小阳机器学习讲义》-寒小阳 《统计学习方法》-李航 摘要机器学习包含监督学习、非监督学习、以及强化学习三大部分。监督学习又分为分类和回归两大类。==线性回归模型==...
  • sinat_20623345
  • sinat_20623345
  • 2017-12-23 12:58:46
  • 244

回归中的相关度和决定系数

1.皮尔逊相关系数(Pearson Correlation Coefficient) 1)衡量两个值线性相关强度的量; 2)取值范围:[-1,1] 正向相关:>0,负向相关: 3)定义 2.R平方...
  • qq_36890572
  • qq_36890572
  • 2017-11-13 14:55:29
  • 261

第22节--回归中的相关度和R平方值

相关系数R平方值定义:决定系数,反应因变量的全部变异能通过回归关系被自变量解释的比例。描述:如R平方为0.8,则表示回归关系可以解释因变量80%的变异。换句话说,如果我们能控制自变量不变,则因变量的变...
  • youyuyixiu
  • youyuyixiu
  • 2016-11-03 14:05:27
  • 1783

统计学 决定系数(Coefficient of Determination) 和 相关系数 (Correlation of Coefficient )

在对数据进行线性回归计算之后,我们能够得出相应函数的系数, 那么我们如何知道得出的这个系数对方程结果的影响有强呢? 所以我们用到了一种方法叫 coefficient of determination...
  • YtdxYHZ
  • YtdxYHZ
  • 2016-06-21 23:45:47
  • 17975

MATLAB 线性拟合 决定系数R2求解

线性拟合之后总是需要求解决定系数R2,网上找了一下发现没啥靠谱的中文回答。还是老外的方法比较靠谱。 线性拟合求解决定系数...
  • sam92
  • sam92
  • 2016-06-21 15:40:40
  • 1497

机器学习-模型决定系数

决定系数决定系数反应了y的波动有多少百分比能被x的波动所描述,即表征依变数Y的变异中有多少百分比,可由控制的自变数X来解释.表达式:R2=SSR/SST=1-SSE/SST其中:SST=SSR+SSE...
  • jiangjiang_jian
  • jiangjiang_jian
  • 2018-01-19 11:26:00
  • 96

python实现回归中的相关系数和决定系数

import numpy as npy import cmath def computecorrelation(x,y): x_bar=npy.mean(x) y_bar=npy.m...
  • weixin_41789633
  • weixin_41789633
  • 2018-03-28 19:11:23
  • 34

机器学习——多元线性回归分析(multiple regression)及应用

1、多元回归分析与简单线性回归区别 多个自变量x 2、多元回归模型 ,其中,是参数,是误差值 3、多元回归方程 4、估计多元回归方程 ,一个样本被用来计算的点估计 5、估计流程(与简单线性回归类似)...
  • loveliuzz
  • loveliuzz
  • 2017-09-16 21:03:09
  • 637

Khan公开课 - 统计学学习笔记:(九)线性回归公式,决定系数和协方差

线性回归公式推导 在坐标上分布很多点,这些点可以通过y=mx+b的直线进行近似模拟,如图。最合适的线性回归线(Best fitting regression)就是Error的方差最小,即Square...
  • flowingflying
  • flowingflying
  • 2012-10-14 17:37:24
  • 25632
收藏助手
不良信息举报
您举报文章:【机器学习】9.回归中的线性度和决定系数
举报原因:
原因补充:

(最多只允许输入30个字)