二、机器学习之回归模型分析

最新推荐文章于 2024-08-13 01:54:14 发布

LKIDTI数据

最新推荐文章于 2024-08-13 01:54:14 发布

阅读量3k

点赞数 5

分类专栏：集成调参学习文章标签： python 机器学习人工智能数据分析数据挖掘

本文链接：https://blog.csdn.net/weixin_45014634/article/details/114987676

版权

集成调参学习专栏收录该内容

9 篇文章 3 订阅

订阅专栏

一、回归模型

1.1 回归模型定义

回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。也就是我们高中所说的一次函数问题

1.2 回归模型分析方法

回归分析是研究一个变量（被解释变量）关于另一个（些）变量（解释变量）的具体依赖关系的计算方法和理论是建模和分析数据的重要工具。
在这里，我们使用曲线或线来拟合这些数据点，在这种方式下，从曲线或线到数据点的距离差异最小。下面是回归分析的几种常用的方法

线性回归（ Linear Regression）
逻辑回归（Logistic Regression）
多项式回归（Polynomial Regression）
岭回归（Ridge Regression）

这四种是在机器学习中常见的回归分析方法，下面来一一分解一下：

二、回归分析

2.1 线性回归和多项式回归

2.1.1 线性回归定义

线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析

2.2.2 代码实现分析：

import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
import random
plt.rcParams["font.sans-serif"]=["simhei"]
plt.rcParams["axes.unicode_minus"]=False
%matplotlib inline
ex0=pd.read_table("ex0.txt",header=None)
ex0.head()

在这里插入图片描述
获得特征矩阵

def get_Mat(dataSet):
    xMat=np.mat(dataSet.iloc[:,:-1].values)
    yMat=np.mat(dataSet.iloc[:,-1].values).T
    return xMat,yMat

采样展示数据

xMat,yMat=get_Mat(ex0)
def plotshow(dataSet):
    xMat,yMat=get_Mat(dataSet)
    plt.scatter(xMat.A[:,1],yMat.A,c="b",s=5)
    plt.show()

plotshow(ex0)

在这里插入图片描述
获得线性回归画图

def satandRegres(dataSet):
    xMat,yMat=get_Mat(dataSet)
    xTx=xMat.T*xMat
    if np.linalg.det(xTx)==0:
        print("矩阵为奇异矩阵，无法求逆")
        return
    ws=xTx.I*(xMat.T*yMat)
    return ws
#打印回归函数
def plotReg(dataSet):
    xMat,yMat=get_Mat(dataSet)
    plt.scatter(xMat.A[:,1],yMat.A,c="b",s=5)
    ws=satandRegres(dataSet)
    yHat=xMat*ws
    plt.plot(xMat[:,1],yHat,c="r")
    plt.show()
plotReg(ex0)

在这里插入图片描述

xMat,yMat=get_Mat(ex0)
ws=satandRegres(ex0)
yHat=xMat*ws
np.corrcoef(yHat.T,yMat.T)

在这里插入图片描述
可得相关系数

2.2 逻辑回归

2.2.1 逻辑回归定义

Logistic Regression（简称LR）擅长处理分类问题（用户点击率、用户违约信息预测、垃圾邮件检测、疾病预测、和用户等级问题（多分类问题））

其结果是在于线性回归的基础上加上了一个，sigmold函数（也就是分类函数）：

sigmoid函数表达式如下：
$f(x)=1/(1+e^y)$

2.2.2 代码说明

import numpy as np
import math
import matplotlib.pyplot as plt
%matplotlib inline

X=np.linspace(-5,5,200)
y=[1/(1+math.e**(-x)) for x in X]
plt.plot(X,y)
plt.show()

在这里插入图片描述

其结果是先模型出数据的线性回归，在根据sigmold函数将原来的y值和标准的y^大于0的可以分为正类，小于0的分为负类

2.3 多项式回归

2.3.1 多项式回归定义

多项式回归，回归函数是回归变量多项式的回归。多项式回归模型是线性回归模型的一种，此时回归函数关于回归系数是线性的。

直线回归研究的是一个依变量与一个自变量之间的回归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比如绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的影响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析。
在这里插入图片描述

2.4 岭回归

2.4.1 岭回归定义

岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。

2.4.2 岭回归函数

def get_Mat(dataSet):
    xMat=np.mat(dataSet.iloc[:,:-1].values)
    yMat=np.mat(dataSet.iloc[:,-1].values).T
    return xMat,yMat

'''函数功能：
            使用岭回归来计算归系数
    参数说明：lam:认为设定惩罚系数
'''
def rigdeRegres(dataSet,lam=0.2):
    xMat,yMat=get_Mat(dataSet)
    xTx=xMat.T*xMat
    denom=xTx+np.eye(xMat.shape[1])*lam
    ws=denom.I*(xMat.T*yMat)
    return ws