【统计机器学习】线性回归模型理论与实践

已于 2022-09-03 10:36:53 修改
阅读量514 收藏 3
点赞数
分类专栏： 机器学习 文章标签： 机器学习 线性回归 人工智能
于 2022-08-02 17:41:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/adreammaker/article/details/126106012
版权

文章目录

相关知识

概率论，是研究随机现象数量规律的数学分支。随机现象是相对于决定性现象而言的，例如太阳东升西落。随机现象是指在基本条件不变的情况下，每一次试验或观察前，不能肯定会出现哪种结果，呈现出偶然性。例如，掷一硬币，可能出现正面或反面。

数理统计是数学的一个分支，分为描述统计和推断统计。它以概率论为基础，研究大量随机现象的统计规律性。描述统计的任务是搜集资料，进行整理、分组，编制次数分配表，绘制次数分配曲线，计算各种特征指标，以描述资料分布的集中趋势、离中趋势和次数分布的偏斜度等。推断统计是在描述统计的基础上，根据样本资料归纳出的规律性，对总体进行推断和预测。
（描述统计——>推断统计）

计算机角度的机器学习和统计角度的机器学习，对一些名称的定义可能会有些不同。
例如

机器学习统计机器学习
Unsupervised Learning （无监督学习）Clustering 聚类
Supervised Learning 监督学习回归分析
Semi-Supervised Learning…
Reinforcement Learning…
……

变量类型

分类数据：职业、地址、性别
连续数据：年龄、收入
分类数据（但有顺序含义）：High school ,BSc，MSc,PhD

Y的变量类型决定了问题，以及用什么方法解决问题
在这里插入图片描述
什么时候用统计方法、什么时候用机器学习呢？
课上提问，老师答复：小：千一下。 大：万级
在这里插入图片描述

只有特征和样本量都很大（样本量超过200，特征超过20）的时候，我们考虑机器学习的方法。
除此之外，经典的统计方法或者统计学习方法几乎可以解决所有问题。（当然了，机器学习也可以用，但是工程上没有必要）

模型在不同数据量场景下的效果：
在这里插入图片描述

线性回归模型实例

心法：定（任务，方法同数据准备阶段，通过数据量和预测任务来判断）、数、模、训、测、上

数：分析(任务）、理解、清晰、构建、选择、提取

模：模型、损失、优化器 （基于数据量和预测类型选择模型。）

训练：迭代、调参、降损失

定（问题定义）

预测房价、很明显的线性回归任务，而且特征数目少于20，首选线性回归。

数（数据准备）

1，2 分析（问题，看Y）和 理解（特征,看X）

#1 问题分析
#（房价预测，回归任务，）
from sklearn import datasets
boston = datasets.load_boston() 
print(boston.DESCR)
boston.shape

#分析（分析Y的类型，判断问题类型）
y = boston.target
y = pd.DataFrame(y)
y.describe()
# 理解
house = boston.data
house = pd.DataFrame(house,columns=['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',
       'TAX', 'PTRATIO', 'B', 'LSTAT'])
house.info()# 查看基本的描述统计       
house.describe()

Data Set Characteristics:

:Number of Instances: 506 

:Number of Attributes: 13 numeric/categorical predictive. Median Value (attribute 14) is usually the target.

:Attribute Information (in order):
    - CRIM     per capita crime rate by town
    - ZN       proportion of residential land zoned for lots over 25,000 sq.ft.
    - INDUS    proportion of non-retail business acres per town
    - CHAS     Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
    - NOX      nitric oxides concentration (parts per 10 million)
    - RM       average number of rooms per dwelling
    - AGE      proportion of owner-occupied units built prior to 1940
    - DIS      weighted distances to five Boston employment centres
    - RAD      index of accessibility to radial highways
    - TAX      full-value property-tax rate per $10,000
    - PTRATIO  pupil-teacher ratio by town
    - B        1000(Bk - 0.63)^2 where Bk is the proportion of black people by town
    - LSTAT    % lower status of the population
    - MEDV     Median value of owner-occupied homes in $1000's
  1. 首先是分析数据标签，要明白任务的需求。数据挖掘任务主要分为两类：回归与分类。
    • 回归指标签值是连续值的任务，例如用到的数据集，要求预测房价信息，房价是一个连续的变量，因此这样的任务属于回归问题(Regression)
    • 分类指标签值离散的任务，例如鸢尾花(Iris)数据集，收集三种鸢尾花的萼片长度，宽度等信息，要求根据这些信息预测鸢尾花属于哪种类别，因此标签就是1，2，3，代表三类鸢尾花。这种任务属于分类任务。

在这里插入图片描述

在这里插入图片描述
通过分析可知，房价标签是连续数据，因此是回归任务。

  1. 特征X理解-初步理解

研究思路：
先看首先研究单变量的数据类型、分布情况、是否有离群值、是否有缺失值等情况，

再研究变量之间的关系：相关性分析等。

house_data.head()
house_data.info()
house_data.describe()

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

通过这几张基本统计表，我们可以看：

  • 是否有缺失值
  • 数据是否和我们理解的不同，例如处于[0-1]的值却>1
  • 方差特别小的特征也考虑删除，或者说取值唯一的特征是没有意义的。（举例，如果在一次考试中，大家的数学成绩都是100分，那么是没有办法通过数学成绩来区分每位同学的能力的，也就是说数学这门课没有区分性，不具有分析的意义，可以删掉。）
  • 方差太大说明数据不太可能是正态的，因为不够集中。（补充说明：标准差是方差开根号，标准差越大，对于正太分布来说，分布图像越矮胖，因此数据不集中。而标准差越小，对于正太分布来说，图像越矮瘦，数据集中。
  • 对于是否有离群值后面我们需要通过箱线图或者散点图等可视化分析后才能得知。 在这里插入图片描述

上述这些统计的结果可以为下一步，特征清洗做准备。

  1. 特征X的理解-变量关系分析
    继续，我们绘制所有特征的柱状图如下，来分析各特征的分布情况。通过对变量分布的观察，对于那些非正太的分布，例如长尾分布，我们会考虑取ln来进一步提取信息，但是有时候取ln会降低模型的可解释性。（这部分可以在scatter plot matrix中一起画出来，我们这里先单独画出来分析，以后就直接用scatter plot matrix就可以了）

参考资料
https://blog.csdn.net/laffycat/article/details/125883973
http://t.csdn.cn/lGF1A
https://blog.csdn.net/qq_37596349/article/details/105378996

DataFrame绘制直方图
DataFrame.hist(data, column=None, by=None, grid=True, xlabelsize=None, xrot=None, ylabelsize=None, yrot=None, ax=None, sharex=False, sharey=False, figsize=None, layout=None, bins=10, **kwds)
figsize：指要创建的图形的尺寸(以英寸为单位)。默认情况下, 它使用matplotlib.rcParams中的值。
bins：默认值10。它是指要使用的直方图bin的数量。如果给出整数值, 则它将返回bin +1 bin边缘的计算值。（从图上看，这个参数决定了柱状图的粗细，bins越大，图中的柱子越细。

import seaborn as sns
# house[['CHAS', 'RAD']].hist()
house_data[['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS', 'RAD',
       'TAX', 'PTRATIO', 'B', 'LSTAT','price']].hist(figsize = (10, 15))

在这里插入图片描述
scatter plot matrix 绘制方法
绘制方法1:

# 绘制scatter plot matrix散点图矩阵
pd.plotting.scatter_matrix(house_data, alpha=0.3, figsize=(14,10),diagonal='hist') for 
# diagonal : {'hist', 'kde'} 在对角线上选择“kde”和“hist”来进行核密度估计或直方图绘制。

在这里插入图片描述
绘制方法2:

import seaborn as sns
# 任意两个变量间的相关性散点图
sns.set()
cols = house_data.columns # 罗列出数据集的所有列
sns.pairplot(house_data[cols], size = 2.5) # 成对画出任意两列的散点图
plt.show() # 显示函数

在这里插入图片描述
从可视化的角度来研究变量之间的相关性，最简单的方法就是将两个特征对应的坐标点在坐标系下描述出来，研究他们的变化趋势，每一个点的坐标是一个二元组 ( X A ( i ) , X B ( i ) ) (X_{A}^{(i)},X_{B}^{(i)}) (XA(i)​,XB(i)​)，其中 X A ( i ) X_{A}^{(i)} XA(i)​表示第 i i i个样本特征 A A A的值,而 X A ( i ) X_{A}^{(i)} XA(i)​表示第 i i i个样本特征 B B B的值.

从上面的图像可以看出，有些变量实际上是有相似（A高B高）的分布情况的，或者相反的分布情况的（A高B低）,这样的性质称为变量之间的相关性。 (注意，这里不考虑标签的相关性）
相关性一般有两种情况：

  • 正相关：如果特征A的增加（减少）会导致特征B增加（减少），即特征A与特征B变化趋势相同
  • 负相关：如果特征A的增加（减少）会导致特征B减少（增加），即特征A与特征B变化趋势相反
  1. 首先，我们先看图像呈“对角线分布的”，即/或者\这两种类型分布的图像，这样的图像说明这两个变量间有较强的相关性，是可以被消除共线性的“嫌疑对象”。如图中的DIS和AGE在这里插入图片描述
    ,尽管他不是严格的直线分布，但至少其分布呈现带状.然后成对画出任意两列的散点图
sns.pairplot(house_data[["AGE", "DIS"]], size = 3) #size是子图的大小

在这里插入图片描述
其次，可以看那些趋势明显比较单调，但是不太像直线，而是类似“对数函数”的图像，例如图中的DIS和NOX,因为这类图像，只要对数化，就可以得到类似直线的效果，那么也可以被处理.

成对画出任意两列的散点图（带对数处理）

sns.pairplot(np.log(house[["NOX", "DIS"]]), size = 3) #size是子图的大小

在这里插入图片描述
最后,还需关注最后一行（列）与其他行（列）的关系，也就是特征与标签的关系，如果这两者出现较强相关性，那么我们需要留意这些特征，因为这些特征对标签有着比较直接的关系，例如RM和LSTAT

成对画出任意两列的散点图（带对数处理）

sns.pairplot(np.log(house_data[["RM", "LSTAT", "price"]]), size = 3) #size是子图的大小

在这里插入图片描述
通过图像在这里插入图片描述我们发现一个问题,就是最上面price=50的电很奇怪,因此它刚好就是50,有点太奇怪了,不高不低,然后我们去翻记录资料,发现>50的全部标记为50了,因此这些数据对应我们分析来说肯定是不友好的,所以需要删除掉.

通过散点图矩阵,我们可以确定哪些变量(通过左对角线看:大多数长尾分布的都需要转换)应该转化为对数尺度(注意,一旦转换,则对应的标签也需要转换),并且对于相关行较高的变量我们可以进行删减,但是相关性通过图像确定不够客观,我们考虑通过相关系数的热土来查看,见下文.

除了先用图,对相关性进行基本的分析外,我们可以用数据继续对相关性进行定量描述.

  1. 协方差
    在这里插入图片描述
    计算协方差 house.cov()#只有数值型变量才能算，类别或文本需要编码后才能计算.
    在这里插入图片描述
    但是协方差只能看出正相关和负相关，其大小并没有意义，这是因为每个特征的量纲不同，直接乘积后求期望，所得到的量纲又是不尽相同，因此我们需要对其做“无量纲化”处理

  2. 相关系数
    在这里插入图片描述计算相关系数:

    • 单项相关系数的计算
    def Corr(X, Y):
    '''
    计算随机变量X，Y的相关系数.
    X: np.array or pd.Series.
    Y: np.array or pd.Series.
    '''
    COV_XY = np.cov(X, Y)  #协方差矩阵
    std_X = np.std(X)   #X的标准差
    std_Y = np.std(Y)   #Y的标准差
    
    Corr_Matrix = COV_XY / (std_X * std_Y)
    
    return Corr_Matrix

    # (np.cov(house['AGE'], house['DIS'])/ ((np.std(house['AGE']) * np.std(house['DIS']))))[0,1]
# 利用自己实现的函数进行单项相关系数的计算
Corr(house['AGE'], house['DIS'])
    • 全表相关系数的计算
    # 直接计算相关性系数
Corr_Matrix = house.corr()
Corr_Matrix
    • 热力图展示相关性系数
    #correlation matrix
f, ax = plt.subplots(figsize=(12, 9)) # 设置画布
sns.heatmap(Corr_Matrix, vmax=.8, square=True # 画热力图

    在这里插入图片描述
    在这里插入图片描述
    从相关系数的热图当中,我们可以看出哪些变量是高度相关的,对于高度相关的变量,我们希望在回归模型中去除某个或者某些变量.

注意

  • 当两个变量呈正相关或者负相关时，我们称两个变量是相关的。如果两个变量有较强的相关性时，将这些变量一起用，会有很多是冗余的，那么两个相关性高的变量如何去筛选呢? 最简单的是随机去掉一个,但是显然不合理,因此可以根据一些评价模型来选择).
  • 因为变量之间有较强的相关性，那么变量与变量之间是可以相互表示的，所以在建模时，需要尽可能消除特征之间的共线性，也就是尽量使用相关性比较小的特征，这样可以减少训练时间，使得模型的学习效果更好。

3 特征清洗

  1. 缺失值统计和处理
    这里的数据没有缺失值,因此不需要进行清洗了.

4 特征构建

5 特征选择

6 特征提取

模(模型搭建)

基于对数据的分析和理解,我们拟采用线性回归来构建房价越模型.
下面这一部分是数据准备的工作:

import numpy as np
import pandas as pd
from sklearn import datasets
boston = datasets.load_boston() #波士顿房价数据集，预测房价，因此是回归任务
x = boston.data[:,5]
y = boston.target

from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=626)
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)

x_train = x_train.reshape(-1,1)
y_train = y_train.reshape(-1,1)
x_test = x_test.reshape(-1,1)
y_test = y_test.reshape(-1,1)

训(模型训练)

from sklearn.linear_model import LinearRegression
lin_reg = LinearRegression()
lin_reg.fit(x_train, y_train)
lin_reg.intercept_ #截距
lin_reg.coef_ #系数

plt.scatter(x_train, y_train) # 画散点图
plt.plot(x_train, lin_reg.predict(x_train), color='r') #画线图
plt.show() #展示图片

测(模型测试和评估)

回归模型中,模型的测试和评估指标如下
在这里插入图片描述

y_predict = lin_reg.predict(x_test)
## MSE
mse_test = np.sum((y_predict - y_test)**2) / len(y_test)
mse_test

## RMSE
from math import sqrt
rmse_test = sqrt(mse_test)
rmse_test

## MAE
mae_test = np.sum(np.absolute(y_predict-y_test)) / len(y_test)
mae_test

from sklearn.metrics import mean_squared_error
from sklearn.metrics import mean_absolute_error
print(mean_squared_error(y_test, y_predict))
print(mean_absolute_error(y_test, y_predict))

## R^2 (下面是三种输出相关性系数R^2的方式)
1 - mean_squared_error(y_test, y_predict) / np.var(y_test)

from sklearn.metrics import r2_score
r2_score(y_test, y_predict)

lin_reg.score(x_test, y_test)

补充正则化线性回归的相关算法:

X = boston.data
y = boston.target
X.shape
y.shape
X = X[y < 50.0]
y = y[y < 50.0]

# Ridge
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=626)
from sklearn.linear_model import Ridge
ridge_reg = Ridge(alpha=1, solver='cholesky', random_state=626)
ridge_reg.fit(X_train, y_train)
ridge_reg.intercept_
ridge_reg.coef_
ridge_reg.predict(X_test)

# Lasso
from sklearn.linear_model import Lasso
lasso_reg = Lasso(alpha=0.1)
lasso_reg.fit(X_train, y_train).coef_
lasso_reg.predict(X_test)

#Elastic Net
from sklearn.linear_model import ElasticNet
elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5)
elastic_net.fit(X_train, y_train)
# elastic_net.predict(y_test)
elastic_net.coef_

但是,一些1维的线性回归模型不够用,我们引入多项式回归.
Polynomial Regression (多项式回归)

  1. 所有可能的交互都要被添加到多项式回归当中
  2. 逐个添加

example 1:

np.random.seed(626)

m = 100
X = 6 * np.random.rand(m,1) - 3
y = 0.5 * X**2 + X + 2 + np.random.randn(m,1)

plt.plot(X, y, 'b.')
plt.xlabel("$x_1$", fontsize=18)
plt.ylabel("$y$", rotation=0, fontsize=18)
plt.show()

from sklearn.preprocessing import PolynomialFeatures
poly_features = PolynomialFeatures(degree=2, include_bias=False)
X_poly = poly_features.fit_transform(X)
X[0:5]
X_poly[0:5]

lin_reg = LinearRegression()
lin_reg.fit(X_poly, y)
lin_reg.intercept_, lin_reg.coef_

example2:

X_new = np.linspace(-3,3,100).reshape(100,1)
X_new_poly = poly_features.transform(X_new)
y_new = lin_reg.predict(X_new_poly)
plt.plot(X, y, 'b.')
plt.plot(X_new, y_new, 'r-', linewidth=2, label='Prediction')
plt.xlabel("$x_1$", fontsize=18)
plt.ylabel("$y$", rotation=0, fontsize=18)
plt.legend(loc='upper left', fontsize=14)
plt.axis([-3,3,0,10])
plt.show()

from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline

def PolynomialRegression(degree):
	return Pipeline([
		('poly', PolynomialFeatures(degree=degree)),
		('std_scaler', StandardScaler()),
		('lin_reg', LinearRegression())
	])

模型评估常用三件套

  1. 学习曲线(随着学习数据的增多,模型的损失结果,对于回归模型,需要依此增大数据量来实现这个过程,这与深度学习不同,深度学习记每个batch即可,而回归需要,不断增加数据集.)
  2. 训练集、测试集、验证集合划分 (最简单的划分方式就是:2/3-4/5的样本作为训练集其余的样本作为测试集)
  3. 交叉验证 (通常取5或者10折)
X = boston.data
y = boston.target

X = X[y < 50.0]
y = y[y < 50.0]


from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=10)

from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error

train_score = []
test_score = []
for i in range(1, 76):
    lin_reg = LinearRegression()
    lin_reg.fit(X_train[:i], y_train[:i])
    
    y_train_predict = lin_reg.predict(X_train[:i])
    train_score.append(mean_squared_error(y_train[:i], y_train_predict))
    
    y_test_predict = lin_reg.predict(X_test)
    test_score.append(mean_squared_error(y_test, y_test_predict))

绘制损失(均方误差)下降曲线图像(学习曲线)

plt.plot([i for i in range(1, 76)], np.sqrt(train_score), label="train")
plt.plot([i for i in range(1, 76)], np.sqrt(test_score), label="test")
plt.legend()
plt.show()

在这里插入图片描述

def plot_learning_curve(algo, X_train, X_test, y_train, y_test):
    train_score = []
    test_score = []
    for i in range(1, len(X_train)+1):
        algo.fit(X_train[:i], y_train[:i])
    
        y_train_predict = algo.predict(X_train[:i])
        train_score.append(mean_squared_error(y_train[:i], y_train_predict))
    
        y_test_predict = algo.predict(X_test)
        test_score.append(mean_squared_error(y_test, y_test_predict))
        
    plt.plot([i for i in range(1, len(X_train)+1)], 
                               np.sqrt(train_score), label="train")
    plt.plot([i for i in range(1, len(X_train)+1)], 
                               np.sqrt(test_score), label="test")
    plt.legend()
    plt.axis([0, len(X_train)+1, 0, 4])
    plt.show()

## underfitted model    
plot_learning_curve(LinearRegression(), X_train, X_test, y_train, y_test)

在这里插入图片描述

## proper model (合适的模型)
poly2_reg = PolynomialRegression(degree=2)
plot_learning_curve(poly2_reg, X_train, X_test, y_train, y_test)

在这里插入图片描述

## overfitted model 过拟合模型,多项式的项数选择太多
poly20_reg = PolynomialRegression(degree=20)
plot_learning_curve(poly20_reg, X_train, X_test, y_train, y_test)

在这里插入图片描述

## CV
from sklearn.model_selection import cross_val_score

Other Related Methodologies(其他相关方法)

上(模型上线)

深度学习模型上线参考资料

五阿哥爱跳舞
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
一次完整的数据挖掘过程
linjunyu1994的博客
09-14 2492
任务描述 kaggle 案例 california-housing-prices https://www.kaggle.com/camnugent/california-housing-prices 基于给定的数据,训练模型预测某一区域的房价中位数 房价数据包括人口 . 收入中位数 . 房价中位数 等对于每个街区的描述属性 设计问题解决方案时应该了解到的信息: 弄清楚模型的应用目的. 大致弄明白...
正态分布σ越大图像越_【思维模型】正态分布——最“常见”的分布类型
热门推荐
weixin_40006133的博客
12-13 2万+
芒格说过：“我认为大多数人没有必要精通统计学，例如，我虽然不能准确的说出高斯分布的细节，不过我知道它的分布形态，也知道现实生活中许多事件和现象是按照那个方式分布的，所以能作一个大致的计算。这就够用了，但是至少要能够粗略地理解那道钟形曲线。”芒格说的高斯分布，就是正态分布。正态分布的英文是Normal distribution，直译过来就是“正常的、常态的分布”，因为日常生活中很多东西都符合正态分布...
统计建模之线性回归
wmburst
07-09 513
数据建模 数据分析中，我们可能涉及复杂的场景，这时候需要对未知的样本数据进行预测，此时我们就需要建立模型完成。 模型概念 模型我们可以理解为一个函数。由训练得来的数据确定函书的参数，当参数确定好之后，然后进行训练，通俗点说的就是预测。通过训练数据，通过不断的进行训练，最终得到一个合适的模型，从而可以对位置的数据进行预测。 监督学习 监督学习是从标记的训练数据来推断一个功能的机器学习任务。训练数据包括一套训练示例。在监督学习中，每个实例都是由一个输入对象（通常为矢量）和一个期望的输出值（也称为监督信号）组成。
解决高方差问题及模型正则化(岭回归和LASSO回归)
weixin_43559498的博客
01-06 1750
一、解决高方差的通常手段： 1.降低模型复杂度 2.减少数据维度；降噪 3.增加样本数（模型太过复杂，模型中的参数非常多，而样本数不足以支撑计算出这么复杂的参数） 4.使用验证集 5.模型正则化 二、模型正则化 (1)什么事模型正则化？ 我们之前使用多项式回归(n=100)过拟合一个样本的例子，可以看到这条模型曲线非常的弯曲，而且非常的陡峭，可以想象这条曲线的一些θ系数会非常的大。 模型正则化需要做的事情就是限制这些系数的大小。 (2)模型正则化基本原理： 一些需要注意的细节： 对于θ的求和i是从1到n,
机器学习（一）- 线性回归/（拟合）模型
S_wifi的博客
12-16 8024
​使用线性回归模型前数据处理及注意；线性回归，针对线性数据，通过最小二乘法让损失函数（cost function）最小，求得方程系数，得到方程；多元线性回归求解cost function：正规方程法和梯度下降；准线性回归的延伸：岭回归和Lasso回归；梯度下降法的优化；线性回归中可能遇到的问题及解决办法；拓展：偏差与方差
机器学习之线性回归理论与代码实践
06-13
在编程实现方面，Python的scikit-learn库提供了实现这些线性回归模型的便捷接口。例如，`sklearn.linear_model.LinearRegression`用于普通线性回归，`sklearn.linear_model.Ridge`用于Ridge回归，`sklearn.linear_...
机器学习-线性回归实践
最新发布
01-09
在构建线性回归模型时，我们通常需要进行以下步骤： 1. 数据预处理：清洗数据，处理缺失值，对数值型数据进行标准化或归一化，将分类数据进行独热编码。 2. 拟合模型：通过优化算法（如梯度下降法或最小二乘法）来...
机器学习-线性回归整理PPT
12-04
通过求导并设置偏导数为0，可以得到线性回归模型的最优解，即最小二乘估计的参数。 2. **局部加权线性回归（Local Weighted Linear Regression, LWLR）**是为了解决简单线性回归在非线性数据上的不足。LWLR给每个...
机器学习线性回归预测机器学习线性回归预测
03-17
线性回归模型通过建立输入变量（自变量）与输出变量（因变量）之间的线性关系来预测未知数据点的输出值。这种模型简单直观，易于理解和实现，同时也为更复杂的预测模型提供了基础。 线性回归的核心思想是找到一个...
机器学习——线性回归
04-26
完成一个线性回归的算法，其中train.npz是数据 读取数据的方式为： import numpy as np data = np.load("train.npz") x_array,y_array = data['x'],data['y'] 其中x_array是对2000组特征，每个特征为五维,y_array是...
深度学习05——线性回归模型
m0_55196097的博客
09-22 3528
传送门#写入数据集# 线性回归模型#计算损失函数（MSE均方误差）# 穷举法更新参数ww_list = [] #用于存放更新的参数wl_sum = 0 # 初始化，用于计算损失和l_sum += loss_val # 计算损失和print('MSE=', l_sum / 3) #求均方误差w_list.append(w) #将每一步更新的参数w存入列表w_list中，以便在后面可视化中绘制跟踪曲线。
机器学习入门(二) — 回归模型 (理论)
weixin_34174322的博客
12-07 449
讲述了回归模型的基本原理和算法，并结合回归介绍了交叉验证的方法 1 预测房价 1.1 通过相似的房子预测你的房子 2 线性回归 2.1 应用线性回归模型 那么哪条线才是最好的呢? 2.2 应用一条线的成本 2.3 预测你的房价 3 加入更高阶的因素 3.1 用直线拟合房价或者...? 3.2 如果用二次函数怎么样? 3.3 更高阶的多项式 4 你相信这个模型吗? 显然,相比...
【ML】逻辑回归适用场景-原理-优缺点汇总：
凝眸伏笔的博客
03-25 1万+
逻辑回归使用小节： 优点： 一是逻辑回归的算法已经比较成熟，预测较为准确； 二是模型求出的系数易于理解，便于解释，不属于黑盒模型，尤其在银行业，80%的预测是使用逻辑回归； 三是结果是概率值，可以做ranking model； 四是训练快。 缺点：分类较多的y都不是很适用；对于自变量的多重共线性比较敏感，所以需要利用因子分析或聚类分析来选择代表性的自变量；另外预测结果呈现S型，两端概率......
多元统计分析——多元线性回归
weixin_51931061的博客
04-21 3606
1. 经典的线性回归分析与交叉验证 examDict={' 学习时 ':[0.50, 0.75, 1.00, 1.25,1.50,1.75, 1.75,2.00, 2.25,2.50, 2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50], '分':[10,22,13 ,43,20,22,33,50,62 , 48,55,75,62,73,81,76,64,82,90,93]} examDf = pd.DataFrame(examDict) X_trai
机器学习之训练样本数据分析（文末附有python数据分析代码）
weixin_38410551的博客
03-04 6610
1.样本数据分析的内容 在开始应用各种机器学习方法训练样本数据时，首先要对样本数据进行各种处理，使得样本数据符合机器学习算法的要求。 对样本数据的分析，主要用来分析样本数据的每个特征是否有缺失值，单个特征变量的均值，方差，最大最小值，分布情况。以及变量之间的相关性。 2. 样本数据分析的意义 1. 根据对样本数据的分析，来决定如何对数据进行处理，选择哪种机器学习算法来训练样本。 2. 图...
【TensorFlow实现机器学习方法】KNN（K近邻算法）实现预测房屋价格（tensorflow、matplotlib、numpy、pandas）
AI蜗牛车
04-14 2282
一、前言 机器学习KNN算法（K近邻算法）的总体理论很简单不在这里赘述了。 二、数据集准备 这里使用比较古老的数据集，是房屋预测的数据集 有14列，分别是13个特征，1个房屋价格值 CRIM 村庄的人均犯罪率 ZN 占地面积超过25,000平方尺的住宅用地比例。 INDUS 每个城镇非零售业务的比例 CHAS Charles River虚拟变量（如...
Python 这几种方法进行机器学习特征筛选，有效提升模型性能
Python学习与数据挖掘
11-19 8115
大家好，今天我来说说如何对数据集进行特征筛选，有时候我们拿到的数据集是非常庞大的，但模型其实真的不需要这么多的数据，减少冗余的数据必不可少，这样可以带来很多的好处，例如 提高预测的精准度 降低过拟合的风险 加快模型的训练速度 增加模型的可解释性 当然我们这里需要分连续型的变量以及离散型的变量来讨论，毕竟不同数据类型的变量处理的方式不同，我们先来看一下对于连续型的变量而言，特征选择到底是怎么来进行的。 计算一下各个变量之间的相关性 我们先导入所需要用到的模块以及导入数据集，并且用panda
选择模型 _ 审查回归算法
stay hungry stay foolish
02-18 418
1 线性算法 1.1线性回归算法 from pandas import read_csv from sklearn.model_selection import KFold from sklearn.model_selection import cross_val_score from sklearn.linear_model import LinearRegression # 导入数据 filename = 'housing.csv' names = ['CRIM', 'ZN', 'INDUS'.
《封号码罗》数据分析与人工智能之sklearn回归问题（八）
Python_DJ的博客
02-22 272
第一部分 # 回归问题 回归曲线 --->预测 # 分类是有限的，回归是无限的 import numpy as np import pandas as pd from sklearn.neighbors import KNeighborsClassifier # 分类问题 from sklearn.neighbors import KNeighborsRegressor # 回归问题...
机器学习基础：线性模型与回归分析
"该资源是2016年南京大学机器学习导论课程的一部分，主要讲解了线性模型在机器学习中的应用，包括线性回归和线性模型的变种，如对数线性回归和对率回归。课程强调了线性模型的简单性和实用性，并讨论了处理离散属性...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值