手写 * 使用梯度下降解决多元线性回归案例

已于 2023-05-25 20:36:45 修改
阅读量115 收藏
点赞数
分类专栏： 神经网络 python 基础 文章标签： python
于 2022-12-14 01:00:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_54162982/article/details/128217728
版权

数据说明：

        前十三列为特征，最后一列为标签，数据需要进行清洗。

        数据不具备参考价值，可以选择使用sklearn自带的房价预测数据集，进行相应处理以后便可课跳过数据处理部分。本次代码使用jupyter书写，最后行不需要print即可显示相应数据。此文章仅为实战，代码工作流程原理，后期会详细制作一篇。

加载数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


'''读取数据'''
date = pd.read_csv(".\date.csv")
date.head()

 查看数据大致信息

由上图可知，数据的CRIM、RM、AGE及MEDV列数据需要处理。

处理方法：

'''数据清洗'''

# 只有MEDV 有nan值，替换为均值
date = date.fillna(date['MEDV '].mean())

# RM、CRIM一类异常值后被拼接了100.00，手动去除并转换为float类型数据
date['RM'] = date['RM'].apply(lambda x:float(str(x).split('100.00')[0]))
date["CRIM"] = date['CRIM'].apply(lambda x:float(str(x).split('100.00')[0]))

# AGE一列被两个值连续填充，去除后面拼接的值
date["AGE"] = date['AGE'].apply(lambda x:float(x) if len(x.split('.'))==2 else float(x.split('.')[0]+'.'+x.split('.')[1][:2]))

再次查看清洗后的数据

 查看数据分布情况

'''可视化数据'''

# 可视化查看数据分布情况
plt.figure(figsize=(12,8))
for i,col in enumerate(date):
    plt.subplot(3,5,i+1)
    plt.scatter([i for i in range(len(date[col]))],date[col])
    plt.title(col)
    plt.xticks([])
    plt.yticks([]) 
plt.suptitle('Characteristic distribution')
plt.show()


# 可视化查看特征
# 各特征向量与目标值MEDV间的关系
plt.figure(figsize=(12,8))
for i,col in enumerate(date):
    plt.subplot(3,5,i+1)
    plt.scatter(date['MEDV '],date[col])
    plt.title(col)
    plt.xticks([])
    plt.yticks([]) 
plt.suptitle('Characteristics and objectives')    
plt.show()

 

 

构建线性回归模型与代价函数

（参考资料为：吴恩达-机器学习）

'''构建模型函数和代价函数'''

# 定义模型函数
def h(Theta, X):
    # Theta: 参数向量
    # x: 特征向量
    return np.dot(X,Theta.T)

# 定义代价函数，计算m个样本的损失
def J(Theta,X,y):
    # m表示样本数量
    m=X.shape[0]
    return 1.0/(2*m)*sum((np.dot(X,Theta.T)-y)**2)


## 模型训练：参数迭代更新（归一化）
# 梯度下降：同时对每一个参数进行迭代
def model_fit(Theta,X,y,alpha,iterations):
    # 代价函数的迭代过程记录
    cost=np.zeros(iterations)
    # 样本数量
    m=X.shape[0]
    # 迭代次数
    for i in range(iterations):
        # 必须要先计算error：对所有参数进行更新时，使用相同的error值
        error=np.dot(X,Theta.T)-y
        # batch gradient descent：对参数进行更新
        for j in range(len(Theta)):
            Theta[j]=Theta[j]-1.0/m*alpha*np.dot(error,X[:,j])
        cost[i]=J(Theta,X,y)
    return Theta,cost

将数据进行归一化及划分为训练集测试集 

'''数据划分与归一化处理'''

# 划分训练集、测试集
features = date[date.columns[:-1]]
lable = date["MEDV "]

# 增加全1列，对应表达式的常数项
features = np.c_[np.ones(features.shape[0]),features]

# 初始化参数向量，参数向量的长度等于特征列的数量
Theta=np.zeros(features.shape[1])

# 归一化时：剔除全1列
Xless=features[:,1:]

# 存储归一化参数
X_mean=np.mean(Xless, axis=0)
X_std=np.std(Xless, axis=0)

# 归一化
Xless_std=(Xless-X_mean)/X_std

# 归一化且增加一列全1后的特征
X_std=np.c_[np.ones(features.shape[0]),Xless_std]


# 划分训练集、测试集
split_num = int(len(features)*0.8)

x = X_std[:split_num]
x_lable = lable[:split_num]

y = X_std[split_num:]
y_lable = lable[split_num:]

 设置超参数及训练模型

'''模型编译'''

# 定义迭代参数，如果alpha的数量级选择不正确，有可能会无法收敛
alpha,iterations=0.01,1000

# 初始化参数
init_theta=np.zeros(x.shape[1])

# 模型训练
theta,cost=model_fit(init_theta,x,x_lable,alpha,iterations)

查看代价函数变化值

'''代价函数变化图'''
plt.plot(cost)
plt.show()

封装模型

'''预测模型'''
def pre_model(x,is_std=0):
    if is_std:
        # 当输入数据为一列时，表示进行未知数据的预测
        # 对于未知数据首先按照之前的均值与标准差进行归一化处理
        x = (x-X_mean)/np.std(Xless, axis=0)
        # 首列插入1，表示常数项
        x = np.array([1]+list(x))
        # 进行预测
        y_pre = np.sum(x * theta)

    else:
        y_pre = np.sum(x * theta,axis=1)
    return y_pre

查看模型效果

#预测模型的y值
y_pre = pre_model(y)

# 绘图，查看预测与真实数据差异
plt.plot(list(y_lable))
plt.plot(y_pre)
plt.show()

预测大致符合趋势。

查看预测与真实值差异

# 查看预测与真实值差异

op_1 = pre_model(y[:20])
op_2 = list(y_lable)[:20]

for i in range(20):
    print('pre:',op_1[i],'------ rel:',op_2[i])
    print()

大致还行。

性能提升方法：

        增加训练集数量、增加训练轮数、减小学习率。

 使用模型预测

# 预测值

input_info = np.array([0.62976,0,8.14,0,0.538,5.949,61.8,4.7075,4,307,21,396.9,8.26])

pre_model(input_info,1)

 源码


# coding: utf-8

# - 数据清洗
# - 线性回归
# - 梯度下降
# - 代价函数变化图
# - 给予预测模型

# In[45]:


import numpy as np
import pandas as pd
import matplotlib.pyplot as plt


'''读取数据'''
date = pd.read_csv(".\date.csv")
date.head()


# In[47]:


'''数据清洗'''

# 只有MEDV 有nan值，替换为均值
date = date.fillna(date['MEDV '].mean())

# RM、CRIM一类异常值后被拼接了100.00，手动去除并转换为float类型数据
date['RM'] = date['RM'].apply(lambda x:float(str(x).split('100.00')[0]))
date["CRIM"] = date['CRIM'].apply(lambda x:float(str(x).split('100.00')[0]))

# AGE一列被两个值连续填充，去除后面拼接的值
date["AGE"] = date['AGE'].apply(lambda x:float(x) if len(x.split('.'))==2 else float(x.split('.')[0]+'.'+x.split('.')[1][:2]))


# In[48]:


date.info()


# In[4]:


'''可视化数据'''

# 可视化查看数据分布情况
plt.figure(figsize=(12,8))
for i,col in enumerate(date):
    plt.subplot(3,5,i+1)
    plt.scatter([i for i in range(len(date[col]))],date[col])
    plt.title(col)
    plt.xticks([])
    plt.yticks([]) 
plt.suptitle('Characteristic distribution')
plt.show()


# 可视化查看特征
# 各特征向量与目标值MEDV间的关系
plt.figure(figsize=(12,8))
for i,col in enumerate(date):
    plt.subplot(3,5,i+1)
    plt.scatter(date['MEDV '],date[col])
    plt.title(col)
    plt.xticks([])
    plt.yticks([]) 
plt.suptitle('Characteristics and objectives')    
plt.show()


# In[5]:


'''构建模型函数和代价函数'''

# 定义模型函数
def h(Theta, X):
    # Theta: 参数向量
    # x: 特征向量
    return np.dot(X,Theta.T)

# 定义代价函数，计算m个样本的损失
def J(Theta,X,y):
    # m表示样本数量
    m=X.shape[0]
    return 1.0/(2*m)*sum((np.dot(X,Theta.T)-y)**2)


## 模型训练：参数迭代更新（归一化）
# 梯度下降：同时对每一个参数进行迭代
def model_fit(Theta,X,y,alpha,iterations):
    # 代价函数的迭代过程记录
    cost=np.zeros(iterations)
    # 样本数量
    m=X.shape[0]
    # 迭代次数
    for i in range(iterations):
        # 必须要先计算error：对所有参数进行更新时，使用相同的error值
        error=np.dot(X,Theta.T)-y
        # batch gradient descent：对参数进行更新
        for j in range(len(Theta)):
            Theta[j]=Theta[j]-1.0/m*alpha*np.dot(error,X[:,j])
        cost[i]=J(Theta,X,y)
    return Theta,cost


# In[6]:


'''数据划分与归一化处理'''

# 划分训练集、测试集
features = date[date.columns[:-1]]
lable = date["MEDV "]

# 增加全1列，对应表达式的常数项
features = np.c_[np.ones(features.shape[0]),features]

# 初始化参数向量，参数向量的长度等于特征列的数量
Theta=np.zeros(features.shape[1])

# 归一化时：剔除全1列
Xless=features[:,1:]

# 存储归一化参数
X_mean=np.mean(Xless, axis=0)
X_std=np.std(Xless, axis=0)

# 归一化
Xless_std=(Xless-X_mean)/X_std

# 归一化且增加一列全1后的特征
X_std=np.c_[np.ones(features.shape[0]),Xless_std]


# 划分训练集、测试集
split_num = int(len(features)*0.8)

x = X_std[:split_num]
x_lable = lable[:split_num]

y = X_std[split_num:]
y_lable = lable[split_num:]


# In[7]:


'''模型编译'''

# 定义迭代参数，如果alpha的数量级选择不正确，有可能会无法收敛
alpha,iterations=0.01,1000

# 初始化参数
init_theta=np.zeros(x.shape[1])

# 模型训练
theta,cost=model_fit(init_theta,x,x_lable,alpha,iterations)


# In[8]:


'''代价函数变化图'''
plt.plot(cost)
plt.show()


# In[25]:


'''预测模型'''
def pre_model(x,is_std=0):
    if is_std:
        # 当输入数据为一列时，表示进行未知数据的预测
        # 对于未知数据首先按照之前的均值与标准差进行归一化处理
        x = (x-X_mean)/np.std(Xless, axis=0)
        # 首列插入1，表示常数项
        x = np.array([1]+list(x))
        # 进行预测
        y_pre = np.sum(x * theta)

    else:
        y_pre = np.sum(x * theta,axis=1)
    return y_pre


# In[22]:


#预测模型的y值
y_pre = pre_model(y)

# 绘图，查看预测与真实数据差异
plt.plot(list(y_lable))
plt.plot(y_pre)
plt.show()


# In[40]:


# 查看预测与真实值差异

op_1 = pre_model(y[:20])
op_2 = list(y_lable)[:20]

for i in range(20):
    print('pre:',op_1[i],'------ rel:',op_2[i])
    print()


# In[39]:


# 预测值

input_info = np.array([0.62976,0,8.14,0,0.538,5.949,61.8,4.7075,4,307,21,396.9,8.26])

pre_model(input_info,1)


 

PS：

        仅供参考。创作不易，如果有所帮助，请点亮你们的小爱心。

柚梓sir
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
手写python实现梯度下降算法（base问题：多元线性回归）
m0_46716894的博客
01-13 711
手写实现机器学习基本算法（1）：梯度下降算法，base问题多元线性回归
机器学习-多元线性回归及其手写实现梯度下降
qq_21578849的博客
04-30 1476
一. k-多元线性回归简介 1.在回归分析中，如果有两个或两个以上的自变量，就称为多元回归。事实上，一种现象常常是与多个因素相联系的，由多个自变量的最优组合共同来预测或估计因变量，比只用一个自变量进行预测或估计更有效，更符合实际。因此多元线性回归比一元线性回归的实用意义更大。 2.多元线性回归算法步骤： 解析数据集，分割特征和label 定义损失函数 定义梯度下降函数 根据特征数量初始化构建权重...
机器学习 梯度下降算法数学原理（以多元线性回归为例）及Python实现
ShiZhanfei的博客
11-25 964
设特征为x1,x2…xn，模型为一个线性模型，即预测值与各特征成线性关系。模型的损失函数loss（与真值的差距）即为训练集各值减去训练值的平方求和再乘1/2，为一个多元函数。 先寻找一个初始点（可以是零点也可以是一个随机生成的点），在该点求梯度。由微积分知识：多元函数的梯度的方向是多元函数下降最快的方向，比任何方向导数都快。因此初始点往梯度方向移动即为往下降最快方向移动。最终，初始点将移动到损失函...
梯度下降法求解多元线性回归的参数
蓬莱道人的博客
03-16 2921
1、题目描述 利用最小二乘法和梯度下降法求解多元线性回归的参数，其中X、Y是待拟合的数据，X是自变量，Y是因变量。 2、解题思路 使用梯度下降法来求解。损失函数为：1/2（y - f(x)）^2，每进行一次迭代，先求出所有样本点的平均损失，然后损失函数对各个权重求偏导得到关于每个权重的梯度值，接着使用学习率和梯度值更新每个权重。这里的权重初始化不能为...
机器学习（三）多元线性回归以及多元梯度下降法
Mekeater的博客
12-02 1351
机器学习（三）多元线性回归以及多元梯度下降法 前言： 一般的假设函数都与多个特征相关，比如我们在机器学习（一）中提到的房子价格只是与面积有关。但实际房子价格和多种特征要素有关，比如与房子的大小，房子的卧室个数，房子的楼层数，房龄等等，因此本篇博客将在一元线性回归算法之上理解多元线性回归算法，其实他们直接本质是一样的原理，我们也就是使用了从从特殊到一般的方法论。 案例 例如预测房价与房子大小，卧室...
PyTorch-02梯度下降Gradient Descent、回归案例、手写数字识别案例
m0_37755995的博客
05-03 622
PyTorch-03梯度下降Gradient Descent、回归案例、手写数字识别案例
手写机器学习算法系列02——梯度下降
黄嘉成的博客
08-03 1843
在上一篇手写机器学习算法系列01——线性回归中，我们已经成功地通过矩阵求偏导的方法算出目标函数的极小值点。这种最小二乘法的优势在于代码实现会十分简单，直接将样本数据套用以上公式即可求解出任何线性回归模型的参数值。不过缺点也很突出。所以，我们需要学习另一种普遍性更强的方法来求解目标函数的极值点——梯度下降。...
量化研究 | 机器学习算法——梯度下降法与线性回归
松鼠宽客的博客
05-05 368
量化策略开发，高质量社群，交易思路分享等相关内容
java+实现的多元线性回归分析.doc
01-01
用Java完成多元线性回归相关算法编程。资源是从百度文库上下载的https://wenku.baidu.com/view/070d30eb988fcc22bcd126fff705cc1755275f61.html。
线性回归 梯度下降代码实现（非linear-model版）
02-22
bgd + sgd + mbgd 完整代码实现 手写代码，非linear_model版本
手写梯度下降.ipynb
12-14
针对梯度下降在线性回归中的应用，使用python 代码手写一个梯度下降的函数，这样对梯度下降会有一个更好的了解
机器学习_手写线性回归.zip
08-06
在这个“机器学习_手写线性回归.zip”压缩包中，我们可以期待找到一系列关于如何从零开始构建一个线性回归模型的资源。这个过程可以帮助我们深入理解线性回归的工作原理，并锻炼编程技能。 线性回归的基本概念是...
手写识别梯度下降攻击实现.zip
04-22
《手写识别中的梯度下降攻击：FGSM与PGD的实战解析》 手写识别技术，作为一种广泛应用的计算机视觉技术，已经广泛应用于日常生活中的许多场景，如移动支付、邮政编码识别等。然而，随着深度学习的发展，模型的安全...
使用Python的Turtle库绘制动态风车
爱写代码的小朋友
07-20 434
python绘制风车
随机数种子的作用
最新发布
帆的博客
07-23 752
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
【Python如何将字符串连接在一起并使用`join()`方法】
qq_36253366的博客
07-19 468
方法是字符串对象的方法，而不是列表或元组等序列类型的方法。因此，你需要先指定一个用作分隔符的字符串，然后调用这个字符串的。方法将字符串连接在一起，你需要首先确保这些字符串被存储在一个序列类型中（如列表或元组），然后调用这个序列的。方法是一个字符串方法，它用于将序列（如列表、元组等）中的元素以指定的字符连接生成一个新的字符串。列表中的所有字符串元素使用空格作为分隔符连接成一个新的字符串。方法，并将你想要作为分隔符的字符串作为参数传递给。方法，并将包含要连接字符串的序列作为参数传递。
Java-Lambda
lizhiwei21的博客
07-21 443
lambda表达式可以理解为对匿名内部类的一种简化 , 但是本质是有区别的面向对象思想 :强调的是用对象去完成某些功能函数式编程思想 :强调的是结果 , 而不是怎么去做。
使用9种方法隐藏和显示元素
lulei5153的博客
07-21 178
【代码】使用9种方法隐藏和显示元素。
python手写代码实现一元线性回归
04-14
以下是Python手写代码实现一元线性回归的示例： ``` import numpy as np # 输入数据 x = np.array([1, 2, 3, 4, 5]) y = np.array([2, 3, 4, 5, 6]) # 定义线性回归函数 def linear_regression(x, y): n = np....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值