python回归分析案例_机器学习笔记——2。回归分析与python实现,及

回归分析

认识回归

什么是回归

回归：统计学分析数据的方法，目的在于了解两个或多个变数间是否相关、 研究其相关方向与强度，并建立数学模型以便观察特定变数来预测研究者感兴趣的变数。回归分析可以帮助人们了解在自变量变化时因变量的变化量。

一般来说，通过回归分析我们可以由给出的自变量估计因变量的条件期望。

Sklearn中的回归

Sklearn提供的回归函数主要被封装在两个子模块中，分别是

sklearn.linear_model

和

sklearn.preprocessing

。

sklearn.linear_modlel封装的是一些

线性函数

线性回归函数包括有：

普通线性回归函数( LinearRegression )

岭回归(Ridge)

Lasso(Lasso)

非线性回归函数，如多项式回归(PolynomialFeatures)则通过 sklearn.preprocessing子模块进行调用

回归模型的应用

回归方法适合对一些带有时序信息的数据进行预测或者趋势拟合，常用在

金融

及其他涉及

时间序列分析

的领域：

股票趋势预测

交通流量预测

线性模型(linear model)

线性linear，指量与量之间按比例、成直线的关系，在空间和时间上代表规则和光滑的运动，一阶导数为常数；非线性non-linear则指不按比例、不成直线的关系，代表不规则的运动和突变，一阶导数不为常数。

线性模型试图学得一个通过属性的线性组合来进行预测的函数

获得线性模型

线性模型试图学得一个通过属性的线性组合来进行预测(目标属性)的函数

从数据集创建线性模型：

简记为：

线性模型的基本形式

形式简单，易于建模

蕴含机器学习的基本思想

是其他非线性模型的基础

权重体现出各属性重要性，可解释性强

线性回归

均方误差最小化(最小二乘法)

找到一条直线，使所有样本到直线上的欧式距离之和最小

目标函数(单变量)

令目标函数对

W

和

b

的偏导为零可解得：

目标函数(多变量)

python实现

sklearn.linear_model中的

LinearRegression

可实现线性回归

LinearRegression 的构造方法：

LinearRegression(

fit_intercept=True, #默认值为 True，表示 计算随机变量，False 表示不计算随机变量

normalize=False, #默认值为 False，表示在回归前是否对回归因子X进行归一化True 表示是 ,

copy_X=True

)

数据集划分：

sklearn.model_selection随机划分训练集和测试集

train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为：

X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0)

train_test_split参数解释：

train_data：所要划分的样本特征集

train_target：所要划分的样本结果

test_size：样本占比，如果是整数的话就是样本的数量

random_state：是随机数的种子。

• 随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。

• 随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：

• 种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。

LinearRegression 的常用方法有：

decision_function(X) #返回 X 的预测值 y

fit(X,y[,n_jobs]) #拟合模型

get_params([deep]) #获取 LinearRegression 构造方法的参数信息

predict(X) #求预测值 #同 decision_function

线性回归实例

以鸢尾花数据为例：

导入相关库

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

# 用于线性回归的类

from sklearn.linear_model import LinearRegression

# 用于切分训练集与测试集

from sklearn.model_selection import train_test_split

from sklearn.datasets import load_iris

# 设置输出精度，默认为8

np.set_printoptions(precision=3)

获取数据

iris = load_iris()

# 获取花瓣长度为X，花瓣宽度为y

X, y = iris.data[:, 2].reshape(-1, 1), iris.data[:, 3]

使用线性回归模型进行训练

lr = LinearRegression()

# 将数据划分为数据集与测试集

# test_size:测试集大小

# random_state：随机种子，用来产生相同的随机数系列

X_train, X_test, y_train, y_test = train_test_split(X,

y,

test_size=0.25,

random_state=0)

# 使用训练集，训练模型

lr.fit(X_train, y_train)

print("权重：", lr.coef_)

print("截距：", lr.intercept_)

# 从训练集学习到的模型参数(W与b)，确定方程，就可以进行预测

y_hat = lr.predict(X_test)

print("实际值：", y_test[:5])

print("预测值：", y_hat[:5])

利用模型进行预测

y1_hat = lr.predict(X)

结果可视化

# 绘图

plt.style.use("seaborn-darkgrid")

plt.rcParams["font.family"] = "SimHei"

plt.rcParams["axes.unicode_minus"] = False

plt.rcParams["font.size"] = 12

plt.figure(figsize=(10, 6))

plt.scatter(X_train, y_train, marker="+", label="训练集")

plt.scatter(X_test, y_test, marker="*", label="测试集")

plt.plot(X, lr.predict(X), 'c-.')

plt.legend()

plt.xlabel("花瓣长度")

plt.ylabel("花瓣宽度")

# 对比

plt.figure(figsize=(15,6))

plt.plot(y_test,label="真实值",color="indianred", marker="o")

plt.plot(y_hat,label="预测值",color="c", marker="o")

plt.xlabel("测试集数据序列")

plt.ylabel("数据值")

plt.legend()

逻辑回归

分类和回归二者不存在不可逾越的鸿沟。

准确地说，逻辑回归(Logistic Regression)是对数几率回归，属于广义线性模型(GLM)，它的因变量一般只有0或1.

线性回归并没有对数据的分布进行任何假设，而逻辑回归隐含了一个基本假设 ：

每个样本均独立服从于伯努利分布(0-1分布)

。

伯努利分布属于指数分布族，这个大家庭还包括：高斯(正态)分布、多项式分布、泊松分布、伽马分布、Dirichlet分布等。

对数几率回归／逻辑回归(logistic regression)

对数线性回归

将线性回归模型的预测值和实际值关联起来

一般的形式：广义线性模型

称为联系函数

二分类问题的理想联系函数：单位阶跃函数

阶跃函数的代替函数：Sigmoid函数

带入线性模型可得

几率

，表示样本取正例的可能性比例：

对数几率

：

目标：寻找合适的

W

和

b

，使函数输出逼近真实类别

将y视为类别取值为1或0的概率，可得：

目标函数求解方法：梯度下降法、牛顿法

model = LogisticRegression(max_iter=500,solver='newton-cg').fit(tr_in,tr_out)

model_res = model.predict(te_in)

逻辑回归实例

以鸢尾花为例：

from sklearn.linear_model import LogisticRegression

from sklearn.model_selection import train_test_split

from sklearn.datasets import load_iris

import warnings

warnings.filterwarnings("ignore")

iris = load_iris()

X, y = iris.data, iris.target

# 因为鸢尾花具有三个类别，4个特征，此处仅使用其中两个特征，并且移除一个类别(类别0)。

X = X[y != 0, 2:]

y = y[y != 0]

# 此时，y的标签为1与2，我们这里将其改成0与1。(仅仅是为了习惯而已)

y[y == 1] = 0

y[y == 2] = 1

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.25, random_state=2)

lr = LogisticRegression()

lr.fit(X_train, y_train)

y_hat = lr.predict(X_test)

print("权重：", lr.coef_)

print("偏置：", lr.intercept_)

print("真实值：", y_test)

print("预测值：", y_hat)

可视化结果：

c1 = X[y == 0]

c2 = X[y == 1]

plt.scatter(x=c1[:, 0], y=c1[:, 1], c="g", label="类别0")

plt.scatter(x=c2[:, 0], y=c2[:, 1], c="r", label="类别1")

plt.xlabel("花瓣长度")

plt.ylabel("花瓣宽度")

plt.title("鸢尾花样本分布")

plt.legend()

plt.figure(figsize=(15, 5))

plt.plot(y_test, marker="o", ls="", ms=15, c="r", label="真实类别")

plt.plot(y_hat, marker="X", ls="", ms=15, c="g", label="预测类别")

plt.legend(loc="center")

plt.xlabel("样本序号")

plt.ylabel("类别")

plt.title("逻辑回归分类预测结果")

plt.show()

获取预测的概率值，包含数据属于每个类别的概率

# 获取预测的概率值，包含数据属于每个类别的概率。

probability = lr.predict_proba(X_test)

display(probability[:5])

display(np.argmax(probability, axis=1))

# 产生序号，用于可视化的横坐标。

index = np.arange(len(X_test))

pro_0 = probability[:, 0]

pro_1 = probability[:, 1]

tick_label = np.where(y_test == y_hat, "O", "X")

plt.figure(figsize=(15, 5))

# 绘制堆叠图

plt.bar(index, height=pro_0, color="g", label="类别0概率值")

# bottom=x，表示从x的值开始堆叠上去。

# tick_label 设置标签刻度的文本内容。

plt.bar(index, height=pro_1, color='r', bottom=pro_0, label="类别1概率值", tick_label=tick_label)

plt.legend(loc="best", bbox_to_anchor=(1, 1))

plt.xlabel("样本序号")

plt.ylabel("各个类别的概率")

plt.title("逻辑回归分类概率")

plt.show()

多分类结果可视化(代码略)

在训练集上：

在测试集上：

全部代码我将放在GitHub上，需要的小朋友们可自行下载：

GitHub