深度学习：线性模型

已于 2023-03-19 22:19:08 修改
阅读量197 收藏 1
点赞数 2
分类专栏： 深度学习 文章标签： 机器学习 深度学习 人工智能
于 2023-03-13 22:02:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gaokuiyuan/article/details/129508247
版权

教程视频：《PyTorch深度学习实践》02.线性模型_哔哩哔哩_bilibili

参考文章：(135条消息) PyTorch学习（一）--线性模型_陈同学爱吃方便面的博客-CSDN博客

目录

线性模型

数据集

问题

面对数据集常用的策略

模型设计

案例构造模型y=w*x

1.导入对应的库

2.设置训练集

3.定义学习模型

4.定义损失函数

5.模型训练

6.可视化

 完整代码

课后作业 构造模型：y=w*x+b

线性模型

  • 数据集（DataSet）：包括Training Set和Test Set 监督学习

  • 模型（Model）

  • 训练（Training）

  • 应用（Inferring）

数据集

问题

  • 过拟合：指模型在训练集上表现很好，将噪声数据也一起学习了。到了验证和测试阶段就很差，即模型的泛化能力很差。

  • 欠拟合：是指模型在训练集、验证集和测试集上均表现不佳的情况；

  • 泛化：是指在训练集上的经验性能是否会在未知数据集上表现出差不多的性能。

面对数据集常用的策略

将训练集分成两部分：训练集和开发集

数据集划分：训练集 开发集 测试集

模型设计

评估模型

loss函数

MSE：平均平方误差

案例构造模型y=w*x

1.导入对应的库

import numpy as np
import matplotlib.pyplot as plt

2.设置训练集

x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

3.定义学习模型

def forward(x):
    return x * w

4.定义损失函数

def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) * (y_pred - y)

5.模型训练

# 将权重和权重的损失值记录到列表内
w_list = []
mse_list = []
#穷举法
for w in np.arange(0.0,4.1,0.1):
    print('w=', w)
    l_sum=0
    for x_val,y_val in zip(x_data, y_data):
        y_pred_val = forward(x_val)    #计算预测
        loss_val=loss(x_val, y_val)   #计算损失
        l_sum += loss_val   #求和
        print('\t', x_val, y_val, y_pred_val, loss_val)
    print('MSE=',l_sum/3)   #除样本总数转换成mse
    w_list.append(w)
    mse_list.append(l_sum/3)

打印结果

w= 0.0
     1.0 2.0 0.0 4.0
     2.0 4.0 0.0 16.0
     3.0 6.0 0.0 36.0
MSE= 18.666666666666668
w= 0.1
     1.0 2.0 0.1 3.61
     2.0 4.0 0.2 14.44
     3.0 6.0 0.30000000000000004 32.49
MSE= 16.846666666666668
w= 0.2
     1.0 2.0 0.2 3.24
     2.0 4.0 0.4 12.96
     3.0 6.0 0.6000000000000001 29.160000000000004
MSE= 15.120000000000003
w= 0.30000000000000004
     1.0 2.0 0.30000000000000004 2.8899999999999997
     2.0 4.0 0.6000000000000001 11.559999999999999
     3.0 6.0 0.9000000000000001 26.009999999999998
MSE= 13.486666666666665
w= 0.4
     1.0 2.0 0.4 2.5600000000000005
     2.0 4.0 0.8 10.240000000000002
     3.0 6.0 1.2000000000000002 23.04
MSE= 11.946666666666667
w= 0.5
     1.0 2.0 0.5 2.25
     2.0 4.0 1.0 9.0
     3.0 6.0 1.5 20.25
MSE= 10.5
w= 0.6000000000000001
     1.0 2.0 0.6000000000000001 1.9599999999999997
     2.0 4.0 1.2000000000000002 7.839999999999999
     3.0 6.0 1.8000000000000003 17.639999999999993
MSE= 9.146666666666663
w= 0.7000000000000001
     1.0 2.0 0.7000000000000001 1.6899999999999995
     2.0 4.0 1.4000000000000001 6.759999999999998
     3.0 6.0 2.1 15.209999999999999
MSE= 7.886666666666666
w= 0.8
     1.0 2.0 0.8 1.44
     2.0 4.0 1.6 5.76
     3.0 6.0 2.4000000000000004 12.959999999999997
MSE= 6.719999999999999
w= 0.9
     1.0 2.0 0.9 1.2100000000000002
     2.0 4.0 1.8 4.840000000000001
     3.0 6.0 2.7 10.889999999999999
MSE= 5.646666666666666
w= 1.0
     1.0 2.0 1.0 1.0
     2.0 4.0 2.0 4.0
     3.0 6.0 3.0 9.0
MSE= 4.666666666666667
w= 1.1
     1.0 2.0 1.1 0.8099999999999998
     2.0 4.0 2.2 3.2399999999999993
     3.0 6.0 3.3000000000000003 7.289999999999998
MSE= 3.779999999999999
w= 1.2000000000000002
     1.0 2.0 1.2000000000000002 0.6399999999999997
     2.0 4.0 2.4000000000000004 2.5599999999999987
     3.0 6.0 3.6000000000000005 5.759999999999997
MSE= 2.986666666666665
w= 1.3
     1.0 2.0 1.3 0.48999999999999994
     2.0 4.0 2.6 1.9599999999999997
     3.0 6.0 3.9000000000000004 4.409999999999998
MSE= 2.2866666666666657
w= 1.4000000000000001
     1.0 2.0 1.4000000000000001 0.3599999999999998
     2.0 4.0 2.8000000000000003 1.4399999999999993
     3.0 6.0 4.2 3.2399999999999993
MSE= 1.6799999999999995
w= 1.5
     1.0 2.0 1.5 0.25
     2.0 4.0 3.0 1.0
     3.0 6.0 4.5 2.25
MSE= 1.1666666666666667
w= 1.6
     1.0 2.0 1.6 0.15999999999999992
     2.0 4.0 3.2 0.6399999999999997
     3.0 6.0 4.800000000000001 1.4399999999999984
MSE= 0.746666666666666
w= 1.7000000000000002
     1.0 2.0 1.7000000000000002 0.0899999999999999
     2.0 4.0 3.4000000000000004 0.3599999999999996
     3.0 6.0 5.1000000000000005 0.809999999999999
MSE= 0.4199999999999995
w= 1.8
     1.0 2.0 1.8 0.03999999999999998
     2.0 4.0 3.6 0.15999999999999992
     3.0 6.0 5.4 0.3599999999999996
MSE= 0.1866666666666665
w= 1.9000000000000001
     1.0 2.0 1.9000000000000001 0.009999999999999974
     2.0 4.0 3.8000000000000003 0.0399999999999999
     3.0 6.0 5.7 0.0899999999999999
MSE= 0.046666666666666586
w= 2.0
     1.0 2.0 2.0 0.0
     2.0 4.0 4.0 0.0
     3.0 6.0 6.0 0.0
MSE= 0.0
w= 2.1
     1.0 2.0 2.1 0.010000000000000018
     2.0 4.0 4.2 0.04000000000000007
     3.0 6.0 6.300000000000001 0.09000000000000043
MSE= 0.046666666666666835
w= 2.2
     1.0 2.0 2.2 0.04000000000000007
     2.0 4.0 4.4 0.16000000000000028
     3.0 6.0 6.6000000000000005 0.36000000000000065
MSE= 0.18666666666666698
w= 2.3000000000000003
     1.0 2.0 2.3000000000000003 0.09000000000000016
     2.0 4.0 4.6000000000000005 0.36000000000000065
     3.0 6.0 6.9 0.8100000000000006
MSE= 0.42000000000000054
w= 2.4000000000000004
     1.0 2.0 2.4000000000000004 0.16000000000000028
     2.0 4.0 4.800000000000001 0.6400000000000011
     3.0 6.0 7.200000000000001 1.4400000000000026
MSE= 0.7466666666666679
w= 2.5
     1.0 2.0 2.5 0.25
     2.0 4.0 5.0 1.0
     3.0 6.0 7.5 2.25
MSE= 1.1666666666666667
w= 2.6
     1.0 2.0 2.6 0.3600000000000001
     2.0 4.0 5.2 1.4400000000000004
     3.0 6.0 7.800000000000001 3.2400000000000024
MSE= 1.6800000000000008
w= 2.7
     1.0 2.0 2.7 0.49000000000000027
     2.0 4.0 5.4 1.960000000000001
     3.0 6.0 8.100000000000001 4.410000000000006
MSE= 2.2866666666666693
w= 2.8000000000000003
     1.0 2.0 2.8000000000000003 0.6400000000000005
     2.0 4.0 5.6000000000000005 2.560000000000002
     3.0 6.0 8.4 5.760000000000002
MSE= 2.986666666666668
w= 2.9000000000000004
     1.0 2.0 2.9000000000000004 0.8100000000000006
     2.0 4.0 5.800000000000001 3.2400000000000024
     3.0 6.0 8.700000000000001 7.290000000000005
MSE= 3.780000000000003
w= 3.0
     1.0 2.0 3.0 1.0
     2.0 4.0 6.0 4.0
     3.0 6.0 9.0 9.0
MSE= 4.666666666666667
w= 3.1
     1.0 2.0 3.1 1.2100000000000002
     2.0 4.0 6.2 4.840000000000001
     3.0 6.0 9.3 10.890000000000004
MSE= 5.646666666666668
w= 3.2
     1.0 2.0 3.2 1.4400000000000004
     2.0 4.0 6.4 5.760000000000002
     3.0 6.0 9.600000000000001 12.96000000000001
MSE= 6.720000000000003
w= 3.3000000000000003
     1.0 2.0 3.3000000000000003 1.6900000000000006
     2.0 4.0 6.6000000000000005 6.7600000000000025
     3.0 6.0 9.9 15.210000000000003
MSE= 7.886666666666668
w= 3.4000000000000004
     1.0 2.0 3.4000000000000004 1.960000000000001
     2.0 4.0 6.800000000000001 7.840000000000004
     3.0 6.0 10.200000000000001 17.640000000000008
MSE= 9.14666666666667
w= 3.5
     1.0 2.0 3.5 2.25
     2.0 4.0 7.0 9.0
     3.0 6.0 10.5 20.25
MSE= 10.5
w= 3.6
     1.0 2.0 3.6 2.5600000000000005
     2.0 4.0 7.2 10.240000000000002
     3.0 6.0 10.8 23.040000000000006
MSE= 11.94666666666667
w= 3.7
     1.0 2.0 3.7 2.8900000000000006
     2.0 4.0 7.4 11.560000000000002
     3.0 6.0 11.100000000000001 26.010000000000016
MSE= 13.486666666666673
w= 3.8000000000000003
     1.0 2.0 3.8000000000000003 3.240000000000001
     2.0 4.0 7.6000000000000005 12.960000000000004
     3.0 6.0 11.4 29.160000000000004
MSE= 15.120000000000005
w= 3.9000000000000004
     1.0 2.0 3.9000000000000004 3.610000000000001
     2.0 4.0 7.800000000000001 14.440000000000005
     3.0 6.0 11.700000000000001 32.49000000000001
MSE= 16.84666666666667
w= 4.0
     1.0 2.0 4.0 4.0
     2.0 4.0 8.0 16.0
     3.0 6.0 12.0 36.0
MSE= 18.666666666666668

6.可视化

plt.plot(w_list, mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

 完整代码

#案例构造模型y=w*x
#1.导入对应的库
import numpy as np
import matplotlib.pyplot as plt
#2.设置训练集
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]
#3.定义学习模型
def forward(x):
    return x * w
#4.定义损失函数
def loss(x, y):
    y_pred = forward(x)
    return (y_pred - y) * (y_pred - y)
#5.模型训练
# 将权重和权重的损失值记录到列表内
w_list = []
mse_list = []
#穷举法
for w in np.arange(0.0,4.1,0.1):
    print('w=', w)
    l_sum=0
    for x_val,y_val in zip(x_data, y_data):
        y_pred_val = forward(x_val)    #计算预测
        loss_val=loss(x_val, y_val)   #计算损失
        l_sum += loss_val   #求和
        print('\t', x_val, y_val, y_pred_val, loss_val)
    print('MSE=',l_sum/3)   #除样本总数转换成mse
    w_list.append(w)
    mse_list.append(l_sum/3)
#6.可视化
plt.plot(w_list, mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()

课后作业 构造模型：y=w*x+b

### 1.导入对应的库
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
### 2.设置训练集
x_data = [1.0,2.0,3.0]
y_data = [5.0,8.0,11.0]
### 3.定义模型
def forward(x):
    return x * w + b
### 4.定义损失函数
def loss(x,y):
    y_pred = forward(x)
    return (y_pred- y)*(y_pred- y)
### 5.模型训练
mse_list = []
W = np.arange(0.0, 4.1, 0.1)
B = np.arange(0.0, 4.1, 0.1)
[w,b] = np.meshgrid(W,B)
l_sum = 0
for x_val, y_val in zip(x_data, y_data):
    y_pred_val = forward(x_val)
    print(y_pred_val)
    loss_val = loss(x_val, y_val)
    l_sum += loss_val
### 6.画图
fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(w, b, l_sum/3)
plt.show()

自律的光电人
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
深度学习 线性因子模型
11-04
MIT版深度学习第13章 深度学习线性因子模型.线性因子模型被定义为通过随机、线性的解码器模型（decoder function），通过在一个线性变换加上噪声，来生成输入空间
1.深度学习线性模型实战
01-06
首先我们需要采样自真实模型的多组数据，对于已知真实模型的玩具样例，我们直接从指定的1.477,b=0.089的真实模型中直接采样： y=1.477*x+0.089 1.采样数据 为了能够很好地模拟真实样本的观测误差，我们给模型添加...
深度学习之 3 线性模型
水w的博客
07-09 927
深度学习之 3 线性模型
深度学习之线性模型
最新发布
m0_74228185的博客
02-11 666
这里用穷举法:在一个范围内，列出w的所有值，并且计算出每组数据的平均损失值,以w 为横坐标, 损失值为纵坐标，作图，找到损失值最低的点，对应的就是最适合 的w。如图，w = 2时，损失值最小，所以w = 2是该训练数据合适的权重。先利用mershgrid函数， Axes3D函数，建立网格坐标。这里求权重w , 求最适合的权重，就是求损失值最小的时候。y = w * x + b模型，就需要3D绘图。在利用plot_surface进行绘图。如果所示，这是该训练数据的图。
深度学习基础15讲-第2讲-线性模型
renzerhyx的博客
02-28 177
线性模型
（课程笔记）深度学习入门 - 2 - Linear Model
LorensChaos的博客
08-27 282
这里我们将（1，2），（2，4），（3，6）这三个数据称之为训练集，用于训练和更新模型里面的参数，而（4，？）称之为测试集，用于测试这个预测模型是否能够最大可能的反映实际模型。如果我们可以暂时使用这个简单的线性模型来进行思考w和b取值应该是多少，才能让线性模型尽可能的去反映真实的数据规律。在本问题中，为了简化模型，我们现在开始，变更为使用这个模型。图1 真实的数学规律线图2 模型可能预测的规律线。
PyTorch深度学习-02线性模型（快速入门）
m0_62307289的博客
01-27 454
构建线性模型（准备数据集DataSet、模型选择Model、训练Training、推理inferring），理解损失函数、MSE，代码实现
深度学习第一课-线性模型
10-10
深度学习第一课线性模型 1、线性回归 （1）模型 （2）损失函数 （3）梯度下降 2、softmax回归 （1）模型 （2）损失函数 （3）梯度下降 3、感知机 （1）模型 （2）损失函数 （3）梯度下降
精通数据科学：从线性回归到深度学习
06-13
第二部分是第4-7章，主要讨论数据模型，主要包含三方面的内容：一是统计中最经典的线性回归和逻辑回归模型；二是计算机估算模型参数的随机梯度下降法，这是模型工程实现的基础；三是来自计量经济学的启示，主要涉及...
机器学习算法教程 深度学习算法系列教程英文PPT课件 无监督学习：线性降维 共42页.pptx
04-09
DNN深度学习技巧 Regression回归：案例研究 RNN神经网络训练 SVM支持向量机 VAE无监督学习：生成 半监督学习 分类：概率生成模型 估计量的偏差和方差 结构化线性模式 结构化学习导论 结构化支持向量机SVM 课程介绍 ...
（3）深度学习学习笔记-简单线性模型
weixin_46722934的博客
06-28 693
所以采用小批量随机梯度下降，随机采样b个样本用这b个样本来近似损失。优化方法：梯度下降。Learning rate不能太小（到达一个点要走很多步），也不能太大（一直震荡没有真的下降）一个简单模型：假设一个房子的价格由卧室、卫生间、居住面积决定，用x1，x2，x3表示。∑[（真实值-预测值（xi和权重的内积-偏差））平方]。那么房价y就可以认为y=w1x1+w2x2+w3x3+b，w为权重，b为偏差。线性模型可以看做是单层（带权重的层是1层）神经网络。定义loss，衡量预估质量：真实值和预测值的差距。
深度学习：线性回归模型
qq_35149975的博客
07-28 6781
在机器学习领域中的大多数任务通常都与预测有关。 当我们想预测一个数值时，就会涉及到回归问题。 常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、 预测需求（零售销量等）。 本篇文章将深入讨论线性回归的原理，并动手实现一个线性回归模型。...
深度学习实战-2 线性模型
zzzzzfffftttt的博客
08-17 136
网上一个很精彩的PyTorch深度学习实践的课程，几个月前学完了，现在准备再学一遍，加深一下理解与印象，做一些笔记。文章如有错误，望批评指正。本课程只是笔记，如有侵权，请联系我删除。 文章目录2 线性模型2.1 机器学习一般步骤2.2 问题引入——线性回归2.3 数据集的划分2.3.1 数据集划分的原因2.3.2 过拟合与泛化能力2.4 模型设计2.5 损失函数2.6 代码求解与可视化2.7 作业与扩展 2 线性模型 2.1 机器学习一般步骤 深度学习和机器学习一般有四个步骤： 准备数据集 模型的选择 训
PyTorch 深度学习之线性模型Linear model(一)
HETUW的博客
03-28 806
PyTorch深度学习系列-线性模型Linear model and zip()用法
机器学习：利用线性模型分类
jiaolong123456的博客
11-13 1376
线性模型在分类中的应用 前面一共介绍了三种线性模型：线性分类，线性回归，逻辑回归 。三种模型有一个共同特点都需要计算一个得分：s=wTxs=w^Txs=wTx，线性分类对得出分数进行取正负号操作；线性回归直接输出得分结果；逻辑回归通过sigmoid函数映射得出概率。 其中线性分类的误差是一个NP-hard问题，目前没有好的方法进行求解，那么能不能用逻辑回归或者线性回归来帮助线性分类解决这个问题呢？先来回顾一下三种模型的误差计算方式： 将输出空间视为二元分类的情况也即：y=y=y={-1，+1}，对误差函
深度学习手记（四）之线性模型
星影L的博客
03-25 1276
使用深度学习框架Keras和TensorFlow实现线性模型，自我感觉有点大材小用。但是，对于我们初学者来说能够拿来练练手也是不错的。其实，我们都知道神经网络如果不加激活函数就是线性的模型，所以实现线性模型，就不用加激活函数了。下面用Keras和TensorFlow框架分别实现一下线性模型。 TensorFlow线性模型 Keras线性模型 1.TensorFlow impor...
机器学习(一)：深入解析线性回归模型
LW的技术小筑
10-25 1538
一.线性回归的基本概念 1.1 什么是回归问题？ 回归是应用于经济，投资等领域的一种统计学方法，它尝试确定一个因变量（通常由yyy表示）与一系列其他变量（称为自变量，通常用xxx表示）之间关系，然后通过这个关系来进行相关的预测，例如我们根据一个地区的若干年的PM2.5数值变化来估计某一天该地区的PM2.5值大小。也就是说，回归问题就是确定一个模型fff，使得y=f(x)y=f(x)y=f(x)。若yyy与xxx之间是一次函数关系，则称其为线性回归问题（狭义上的）。 1.2 一元线性回归 给定一个数据集D=(
深度学习基础之线性回归
angeliacmm的博客
03-11 5383
理解线性回归 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。...
解释深度学习里面线性模型
07-12
在深度学习中，线性模型是一种基本的模型，它用于建立输入特征与输出变量之间的线性关系。线性模型的数学表达式可以表示为： y = w1x1 + w2x2 + ... + wnxn + b 其中，y表示输出变量，x1、x2、...、xn表示输入特征...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

自律的光电人

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值