keras 的MSE函数和自己实现的MSE函数不一致问题

最新推荐文章于 2024-02-11 16:13:24 发布
最新推荐文章于 2024-02-11 16:13:24 发布
阅读量2.4k 收藏 2
点赞数
分类专栏： 杂类 文章标签： python keras
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45759229/article/details/123874239
版权
该博客探讨了在 Keras 中训练模型时，自定义计算损失函数与内置损失函数之间的差异。作者通过设置随机种子确保可重复性，并在不同训练阶段对比了预测输出，揭示了 Keras 的损失输出实际上是在当前 epoch 结束后的状态。文章强调了理解模型训练过程中的损失计算时机的重要性。
摘要由CSDN通过智能技术生成

问题如下

from keras.datasets import boston_housing
import numpy as np
(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()


x_train = train_data.astype(np.float32)

from keras import models 
from keras import layers

model = models.Sequential() 
model.add(layers.Dense(64, activation='relu', input_shape=(13,))) 
model.add(layers.Dense(64, activation='relu')) 
model.add(layers.Dense(1))
model.compile(optimizer='rmsprop',loss='mse', metrics=['mae'])

y_train = train_targets.astype(np.float32)
# y_test = test_targets.astype(np.float32)

model.fit(x_train,y_train,epochs=1,batch_size=404)

print(np.mean((y_train - model.predict(x_train).ravel()) ** 2))

sub_sqr=0
for a,b in zip(y_train,model.predict(x_train)):
    sub_sqr+= (a-b)**2

print(f"rme : {sub_sqr/len(y_train)}")

结果如下
在这里插入图片描述可以看到,keras输出的MSE loss和自己计算输出的loss是不一样的，比较费解

解决方法

epoch=1

from keras.datasets import boston_housing
import numpy as np


##################### set random seed. ########################
# Seed value
# Apparently you may use different seed values at each stage
seed_value= 0
# 1. Set the `PYTHONHASHSEED` environment variable at a fixed value
import os
os.environ['PYTHONHASHSEED']=str(seed_value)
# 2. Set the `python` built-in pseudo-random generator at a fixed value
import random
random.seed(seed_value)
# 3. Set the `numpy` pseudo-random generator at a fixed value
import numpy as np
np.random.seed(seed_value)
# 4. Set the `tensorflow` pseudo-random generator at a fixed value
import tensorflow as tf
tf.random.set_seed(seed_value)
# for later versions: 
# tf.compat.v1.set_random_seed(seed_value)
##################### set random seed. ########################

(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()


x_train = train_data.astype(np.float32)

from keras import models 
from keras import layers

model = models.Sequential() 
model.add(layers.Dense(64, activation='relu', input_shape=(13,))) 
model.add(layers.Dense(64, activation='relu')) 
model.add(layers.Dense(1))
model.compile(optimizer='rmsprop',loss='mse', metrics=['mae'])
y_train = train_targets.astype(np.float32)
#get values before training
y_pred1=model.predict(x_train)
model.fit(x_train,y_train,epochs=1,batch_size=404)
print(np.mean((y_train - model.predict(x_train).ravel()) ** 2))

#model.trainable=True
#get values after training 
y_pred2= model.predict(x_train)#batch_size default setting be 32 
#get values after training 
y_pred3= model.predict(x_train,batch_size=404)
#get values after training 
y_pred4= model.predict(x_train,batch_size=100)

print(np.mean((y_train -y_pred1.ravel()) ** 2))## 未训练前的预测，和keras一样
print(np.mean((y_train -y_pred2.ravel()) ** 2))## 经过1个epoch训练的预测，结合下面epoch=2看
print(np.mean((y_train -y_pred3.ravel()) ** 2))## 经过1个epoch的预测，结合下面epoch=2看
print(np.mean((y_train -y_pred4.ravel()) ** 2))## 经过1个epoch的预测，结合下面epoch-2看

在这里插入图片描述

epoch=2

from keras.datasets import boston_housing
import numpy as np

##################### set random seed. ########################
# Seed value
# Apparently you may use different seed values at each stage
seed_value= 0
# 1. Set the `PYTHONHASHSEED` environment variable at a fixed value
import os
os.environ['PYTHONHASHSEED']=str(seed_value)
# 2. Set the `python` built-in pseudo-random generator at a fixed value
import random
random.seed(seed_value)
# 3. Set the `numpy` pseudo-random generator at a fixed value
import numpy as np
np.random.seed(seed_value)
# 4. Set the `tensorflow` pseudo-random generator at a fixed value
import tensorflow as tf
tf.random.set_seed(seed_value)
# for later versions: 
# tf.compat.v1.set_random_seed(seed_value)
##################### set random seed. ########################


(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()


x_train = train_data.astype(np.float32)

from keras import models 
from keras import layers

model = models.Sequential() 
model.add(layers.Dense(64, activation='relu', input_shape=(13,))) 
model.add(layers.Dense(64, activation='relu')) 
model.add(layers.Dense(1))
model.compile(optimizer='rmsprop',loss='mse', metrics=['mae'])
y_train = train_targets.astype(np.float32)
#get values before training
y_pred1=model.predict(x_train)
model.fit(x_train,y_train,epochs=2,batch_size=404)
print(np.mean((y_train - model.predict(x_train).ravel()) ** 2))

#model.trainable=True
#get values after training 
y_pred2= model.predict(x_train)#batch_size default setting be 32 
#get values after training 
y_pred3= model.predict(x_train,batch_size=404)
#get values after training 
y_pred4= model.predict(x_train,batch_size=100)

print(np.mean((y_train -y_pred1.ravel()) ** 2))
print(np.mean((y_train -y_pred2.ravel()) ** 2))
print(np.mean((y_train -y_pred3.ravel()) ** 2))
print(np.mean((y_train -y_pred4.ravel()) ** 2))

输出结果如下
在这里插入图片描述

epoch=1000

from keras.datasets import boston_housing
import numpy as np
(train_data, train_targets), (test_data, test_targets) = boston_housing.load_data()


x_train = train_data.astype(np.float32)

from keras import models 
from keras import layers

model = models.Sequential() 
model.add(layers.Dense(64, activation='relu', input_shape=(13,))) 
model.add(layers.Dense(64, activation='relu')) 
model.add(layers.Dense(1))
model.compile(optimizer='rmsprop',loss='mse')

y_train = train_targets.astype(np.float32)
print(y_train.shape)
# y_test = test_targets.astype(np.float32)

model.fit(x_train,y_train,epochs=1000,batch_size=404)

print(np.mean((y_train - model.predict(x_train).ravel()) ** 2))

sub_sqr=0
for a,b in zip(y_train,model.predict(x_train)):
    sub_sqr+= (a-b)**2

print(f"rme : {sub_sqr/len(y_train)}")

结果如下
在这里插入图片描述可以看到，最终的结果显示keras的mse的计算结果和自己手动计算的方式又一致了

总结如下

keras的输出实际上是比我们预想到的要晚一个epoch的，因为第一个epoch输出的loss实际上是未训练前的loss, 这个是值得注意的

我的心永远是冰冰哒
关注
专栏目录
Keras深度学习实战（4）——深度学习中常用激活函数和损失函数详解
盼小辉丶的博客
04-27 9243
使用激活函数可以实现网络的高度非线性，这对于建模输入和输出之间的复杂关系非常关键，只有加入了非线性激活函数之后，深度神经网络才具备了令人惊异的非线性映射学习能力。 利用损失函数计算损失值，模型就可以通过反向传播去更新各个参数，通过降低真实值与预测值之间的损失，使得模型计算得到的预测值趋近于真实值，从而达到模型训练的目的。激活函数和损失函数是神经网络中十分重要的组件，本节介绍深度学习中常用的激活函数和损失函数。.........
Keras深度学习实战——深度学习中常用激活函数和损失函数详解
最新发布
走向CTO的路上...
05-22 1138
本教程将介绍 Keras 深度学习框架中常用的激活函数和损失函数。激活函数用于引入非线性特性，使得神经网络能够更好地学习和模拟复杂的输入输出关系；损失函数用于度量模型预测结果与真实值之间的差异，选择合适的损失函数对于模型的训练至关重要。Keras 深度学习框架提供了简单易用的工具来选择和使用激活函数和损失函数，这使得深度学习技术可以更加广泛地应用。
浅谈keras中的目标函数和优化函数MSE用法
09-16
主要介绍了浅谈keras中的目标函数和优化函数MSE用法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
keras中的目标函数和优化函数MSE
shuijinghua的博客
03-06 5460
mean_squared_error / mse  均方误差，常用的目标函数，公式为((y_pred-y_true)**2).mean()model = Sequential() model.add(Dense(64, init='uniform', input_dim=10)) model.add(Activation('tanh')) model.add(Activat...
tf.keras.metrics.AUC和sklearn.metrics.auc计算结果不一致
slibra_L的博客
01-31 4589
问题： tf.keras.metrics.AUC和sklearn.metrics.auc计算结果差别较大，如果用这样一个不准确的auc设置earlystop，可能会影响模型效果 经过一天的调研，差别原因如下： sklearn.metrics.auc只会计算label=1的auc，而tf.keras.metrics.AUC在多分类情况下，会将每一类的输出flattened，视作一列计算（每个样本对于每一类的数据均会被视为一个点），在样本不均衡的情况下，会得到较高的AUC 解决方法： auc .
【keras】：指标的计算：mse 在训练的过程中的累计计算问题
Jack_Kuo的博客
01-04 1294
问题 最近在使用keras做一个简单的回归模型的时候，使用模型训练的mse来看指标的时候发现和本地计算的不一致。 history1 = model.fit(X_train, y_train, batch_size=1, epochs=100, verbose=1) loss_list = history1.history["mse"] 原因 查询原因发现： model下面的指标是累积的，在当前batch上的结果会和之前的batch做平均。 结论 这部分可以在训练过程中看是有用的，但是训练完
keras损失函数Regression losses mse mae mape msle CosineSimilarity
陈泊舟的博客
06-02 9622
开篇 这次要与大家分享的是回归损失函数，常见的损失函数有mse,me,maemse,me,maemse,me,mae等。我们在这里整理了keras官方给出的不同的loss函数的API，并从网上搜集了相关函数的一些特性，把他们整理在了一起。这部分的loss按照keras官方的教程分成class和function两部分，这一次讲的是class部分。 API MeanSquaredError（mse） $loss = \frac{\sum(y_{true} - y_{pred})^2}{n} $ 计算的是标签和预
Keras loss函数剖析
09-16
Keras提供了一系列内置的损失函数，下面逐一介绍这些函数的定义和应用场景。 1. **Mean Squared Error (MSE)**: - 定义: `mean_squared_error = K.mean(K.square(y_pred - y_true), axis=-1)` - 应用场景: 常用于...
神经网络训练与预测时结果不一致的一种原因
jasminefeng的博客
01-29 2524
为了防止过拟合，我设置了提前终止early stop。发现预测时的train accuracy与训练时打印出的max train accuracy并不一致。经断点调试，发现是early stop代码段的问题 if test_accuracy > self.max_test_acc and train_accuracy > self.max_train_acc - 0.04: self.max_test_acc = test_accuracy self.max_acc_epo
tensorflow2分类预测损失函数选择
qq_25475917的博客
07-18 1458
二分类问题： 如果是二分类问题，即最终的结果只能是两个分类中的一个，则损失函数loss使用binary_crossentropy 多分类问题： 对于多分类问题，在选择损失函数loss时，主要是看数据是如何编码的： 1.如果是分类编码（one-hot编码），则使用categorical_crossentropy 我对one-hot编码的理解是：one-hot编码就是在标签向量化的时候，每个标签都是一个N维的向量（N由自己确定），其中这个向量只有一个值为1，其余的都为0。也就是...
SVM的预测部分不一致的问题
袁一白的博客
05-12 2289
首先，先看结果，矛盾了 #===这里演示一下由OVO，两条路，不矛盾=== #1.这是libsvm的底层拿到的OVO [[0.62205951 0.96867402 1.05203884 1.04267148 0.96880563 0.70934004 0.70606668 0.32225327 0.17647241 0.03762073]] #2.这是sklearn暴漏的接口，这里是OVO然后，经过OVR聚合，然后拿到最大值 # 2.1 这里是OVO [[0.62205951 0.9686740
【python】【keras】【losses.py】【损失函数】
wq6qeg88的博客
02-11 722
真实值（标签值）：y_true y。真实值（标签值）：y_true y。模型预测值：y_pred ：y_模型预测值：y_pred ：y_
问题笔记：keras定义相同的loss和metric，两者输出不同的原因
RUN
05-20 643
通过查询总结，大致的说法是： loss是完成所有batch之后，所有batch得到的loss的加权平均； metric是当最后一个loss固定之后，网络参数继续反向传播更新，metric是更新之后重新预测的结果，所以会有偏差。 ？但是为何 val时候，仍然不同。 ...
神经网络学习小记录5——利用Keras进行回归运算
Bubbliiiing的学习小课堂
09-22 4225
神经网络学习小记录5——利用Keras进行回归运算学习前言什么是KerasKeras中基础的重要函数1、Sequential2、Dense3、model.compile全部代码 学习前言 看了好多Github，用于保存模型的库都是Keras，我觉得还是好好学习一下的好。 什么是Keras Keras是一个由Python编写的开源人工神经网络库，可以作Tensorflow、Microsoft-CN...
MSELoss详解+避坑指南
热门推荐
Viviane_2022的博客
12-14 1万+
MSELoss详解+避坑指南
tf.keras.models.load_model 加载模型报错记录
weixin_39105498的博客
09-17 3689
tf.keras.models.load_model 加载模型报错记录 Unknown activation function:leaky_relu 解决办法是在tf.keras.models.load_model()括号里面加上 　　　　　　　　　 　custom_objects = {“YYY”:XXX对应的函数或者对象} 例如报错　ValueError: Unknown activation function:leaky_relu　就加上 new_model=tf.keras.models.load_
【深度学习每日小知识】Model Accuracy 模型准确率
欢迎来到最优秀的博客
01-30 741
MSE 定义为预测值与真实值之间的平方差的平均值，而 MAE 定义为预测值与真实值之间的绝对差的平均值。MSE 定义为预测值与真实值之间的平方差的平均值，而 MAE 定义为预测值与真实值之间的绝对差的平均值。它是用于评估 ML 模型性能的常用指标，可用于比较不同模型的性能或评估特定模型对于给定任务的有效性。有多种不同的方法来衡量模型的准确性，具体取决于机器学习模型的类型和要解决的问题的性质。有多种不同的方法来衡量模型的准确性，具体取决于机器学习模型的类型和要解决的问题的性质。
模型评价指标概念说明（回归，分类，多分类）
多头注意力探索Now
09-26 1103
模型分类回归任务的指标说明
自己定义交叉熵损失函数和MSE损失函数并调用它们进行网络训练
03-29
交叉熵损失函数： ```python import tensorflow as tf def cross_entropy_loss(y_true, y_pred): loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y_true, logits=y_pred)) return loss ``` MSE损失函数： ```python import tensorflow as tf def mse_loss(y_true, y_pred): loss = tf.reduce_mean(tf.square(y_true - y_pred)) return loss ``` 示例代码： ```python import tensorflow as tf from tensorflow.keras.layers import Dense, Flatten from tensorflow.keras.models import Sequential # create a simple model model = Sequential([ Flatten(input_shape=(28,28)), Dense(128, activation='relu'), Dense(10) ]) # compile the model with cross entropy loss model.compile(optimizer='adam', loss=cross_entropy_loss, metrics=['accuracy']) # train the model model.fit(x_train, y_train, epochs=10) # compile the model with MSE loss model.compile(optimizer='adam', loss=mse_loss, metrics=['accuracy']) # train the model model.fit(x_train, y_train, epochs=10) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值