手写Cross Entropy Loss Function

已于 2022-12-13 22:16:17 修改
阅读量764 收藏 1
点赞数 1
文章标签： python 深度学习 计算机视觉 pytorch 人工智能
于 2022-12-13 22:04:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mawonly/article/details/128308722
版权

手写交叉熵Cross Entropy Loss Function，针对分割任务，2D-Tensor

最近准备在cross entropy的基础上自定义loss function， 但是看pytorch的源码Python部分没有写loss function的实现，看实现过程还得去翻它的c代码，比较复杂。写这个帖子的另一个原因是，网络上大多数Cross Entropy Loss 的实现是针对于一维信号，或者是分类任务的，没找到关于分割任务的。因此，准备手写一个Cross Entropy Loss Function，也供大家参考。

先介绍两种Pytorch的Cross Entropy loss function的写法

一. Pytorch 比较常用的CrossEntropyLoss

import torch
ce_loss = torch.nn.CrossEntropyLoss(ignore_index=255, reduction='mean', size_average = True)
cross_entropy1 = ce_loss(yHat, y)

yHat 就是模型的输出，y就是了label。

二. 使用Pytorch里面的

最低0.47元/天 解锁文章
mawonly
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
使用Pytorch实现自定义的交叉熵损失函数，对手写数字数据集进行分类
weixin_43960370的博客
04-13 995
直接替换交叉熵损失函数即可loss_fn = CustomCrossEntropyLoss() # 创建损失函数 learn_rate = 1e-2 # 学习率。
【pytorch损失函数（2）】CrossEntropyLoss交叉熵CE
Hali_Botebie的博客
03-06 1848
基于Pytorch实现，nn.CrossEntropyLoss()，是nn.logSoftmax()和nn.NLLLoss()的整合,可以直接使用它来替换网络中的这两个操作(此标准将LogSoftMax和NLLLoss集成到一个类中)。sigmoid对应的CE函数的反向传播就是在看我们预测值与真实值之间的差异，因此，sigmoid+CE也可以用于做数值的回归，因为反向传播本身，就是计算这两者的差异。x向量（预测）和目标分布（在错误类上为0，在正确类上为1的 one-hot 向量）表示。
损失函数：Cross Entropy Loss （交叉熵损失函数）
FriendshipTang的博客
04-17 3843
PyTorch、人工智能、损失函数、交叉熵、Softmax
交叉熵损失函数
m0_53444618的博客
11-23 359
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分
go深度学习
12-10
本节为go机器学习与深度学习，主要讲解go在机器学习和深度学习方面的应用，如图像识别等。
卷积神经网络CNN手写数字识别matlab.zip
11-22
5. **损失函数（Loss Function）**：衡量模型预测与真实标签之间的差异，如交叉熵损失（Cross-Entropy Loss）在分类问题中常用。 6. **优化器（Optimizer）**：如梯度下降、随机梯度下降（SGD）、Adam等，更新权重...
Alexnet网络训练手写数字识别
03-27
6. **损失函数（Loss Function）**：在MNIST识别任务中，通常采用交叉熵损失函数（Cross-Entropy Loss），它衡量的是模型预测概率分布与真实标签之间的差异。 7. **优化算法（Optimization Algorithm）**：Alexnet...
CNN手写识别demo
03-31
5. **损失函数（Loss Function）**：如交叉熵（Cross-Entropy），衡量模型预测与真实标签之间的差异。 6. **优化算法（Optimization Algorithm）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam等...
基于Pytorch的手写数字识别分类模型实现
最新发布
05-04
- **交叉熵损失（CrossEntropyLoss）**：适用于多分类问题，计算模型预测与真实标签之间的差异。 6. **优化器（Optimizer）**： - **Adam**：自适应矩估计优化算法，结合了动量和RMSProp，能有效调整学习率并减少...
【深度学习】【PaddlePaddle】DAY 6 - 图像分类问题：手写数字识别案例（四）
Venistar的博客
09-01 932
深度学习课程 DAY 6 - 图像分类问题：手写数字识别案例（四）Chapter 3 图像分类问题3.5 模型优化之损失函数（1）概述（2）分类任务的损失函数1）Softmax函数2）交叉熵3）交叉熵的代码实现 Chapter 3 图像分类问题 3.5 模型优化之损失函数 （1）概述 上一节尝试通过更复杂的模型（经典的全连接神经网络和卷积神经网络），提升手写数字识别模型训练的准确性。本节探讨损失函数的优化对模型训练效果的影响。 损失函数是模型优化的目标，用于在众多的参数取值中，识别最理想的取值。损失函数的计
损失函数为Cross entropy的手写数字识别神经网络代码与实现
mercies的博客
02-25 448
import numpy as np import random class Network2(object): def _init__(self, sizes, cost): self.layernumber = len(sizes) self.sizes = len(sizes) self.defualt_weights() ...
pytorch 交叉熵函数CrossEntropyLoss 使用详解
znsoft的专栏
04-19 2195
import torch import torch.nn as NN criterion = NN.CrossEntropyLoss() X=torch.randn([2,150]) Y=torch.randint(0,150,(2,)) print(X.shape) print(Y.shape) loss=criterion(X,Y) loss0=criterion(X[0],Y[0]) loss1=criterion(X[1],Y[1]) loss_all=(loss0+loss1)/.
理解crossentropy loss
十年磨一剑
06-15 5132
input 为 (N,C)维, 其中N为样本个数, C为分类数, 其中值为每个样本在某类上的得分, 注意这里不是概率, 可以为正也可以为负, 也可以大于1, 后面会经过softmax的处理, 统一变成概率的分布 target为N维, 其值为truth groud 的分类值 这个Loss就是正确得分(后面会转成概率)在所有得分所占的比重来确定的, 如果正确的概率为1, 其他都为0的话, 那么 根...
【日常】手写三层反向传播神经网络（损失函数交叉熵+正则项+反向求导）
一只热爱奔跑的程序猿
04-29 1万+
课程的一次作业，虽然没什么用，但是手写一遍dense确实能加深对神经网络的理解，尤其是反向传播求导这一块。 资源已经上传，不过最近CSDN犯病不能改资源积分了。留个BDY链接了
交叉熵损失函数原理详解
热门推荐
Cigar
08-30 23万+
交叉熵损失函数原理详解 之前在代码中经常看见交叉熵损失函数(CrossEntropy Loss)，只知道它是分类问题中经常使用的一种损失函数，对于其内部的原理总是模模糊糊，而且一般使用交叉熵作为损失函数时，在模型的输出层总会接一个softmax函数，至于为什么要怎么做也是不懂，所以专门花了一些时间打算从原理入手，搞懂它，故在此写一篇博客进行总结，以便以后翻阅。 交叉熵简介 交叉熵是信息论中的一个...
损失函数：交叉熵
每一个不曾起舞的日子，都是对人生的辜负。
10-05 775
给定两个概率分布p和q，通过q来表示p的交叉熵为： H(p,q)=−∑xp(x)logq(x)\LARGE H(p,q)=-\sum_{x}p(x)logq(x)H(p,q)=−∑x​p(x)logq(x) 交叉熵刻画的是两个概率分布之间的距离，或可以说它刻画的是通过概率分布q来表达概率分布p的困难程度，p代表正确答案，q代表的是预测值，交叉熵越小，两个概率的分布约接近。 在神经网络中通常使用 S...
手写MLP的MINIST手写字体识别
03-28
抱歉，作为AI语言模型，我无法手写代码或进行图像识别任务。但是，我可以为您提供一个基本的MLP代码框架，您可以使用它来构建一个MINIST手写字体识别MLP模型： ``` import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) # Define hyperparameters learning_rate = 0.1 num_epochs = 100 batch_size = 100 # Define the number of neurons in each layer input_layer = 784 hidden_layer1 = 256 hidden_layer2 = 256 output_layer = 10 # Define the input and output placeholders X = tf.placeholder(tf.float32, [None, input_layer]) Y = tf.placeholder(tf.float32, [None, output_layer]) # Define the weights and biases for each layer weights = { 'w1': tf.Variable(tf.random_normal([input_layer, hidden_layer1])), 'w2': tf.Variable(tf.random_normal([hidden_layer1, hidden_layer2])), 'out': tf.Variable(tf.random_normal([hidden_layer2, output_layer])) } biases = { 'b1': tf.Variable(tf.random_normal([hidden_layer1])), 'b2': tf.Variable(tf.random_normal([hidden_layer2])), 'out': tf.Variable(tf.random_normal([output_layer])) } # Define the forward propagation hidden_layer1_output = tf.nn.relu(tf.add(tf.matmul(X, weights['w1']), biases['b1'])) hidden_layer2_output = tf.nn.relu(tf.add(tf.matmul(hidden_layer1_output, weights['w2']), biases['b2'])) output = tf.add(tf.matmul(hidden_layer2_output, weights['out']), biases['out']) # Define the loss function and optimizer loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(logits=output, labels=Y)) optimizer = tf.train.GradientDescentOptimizer(learning_rate=learning_rate).minimize(loss) # Define the accuracy metric correct_pred = tf.equal(tf.argmax(output, 1), tf.argmax(Y, 1)) accuracy = tf.reduce_mean(tf.cast(correct_pred, tf.float32)) # Initialize the variables init = tf.global_variables_initializer() # Start the session with tf.Session() as sess: sess.run(init) num_batches = int(mnist.train.num_examples/batch_size) # Train the model for epoch in range(num_epochs): avg_loss = 0 for batch in range(num_batches): batch_x, batch_y = mnist.train.next_batch(batch_size) _, l = sess.run([optimizer, loss], feed_dict={X: batch_x, Y: batch_y}) avg_loss += l/num_batches if epoch % 10 == 0: print("Epoch:", epoch+1, " Loss:", avg_loss) # Test the model test_accuracy = sess.run(accuracy, feed_dict={X: mnist.test.images, Y: mnist.test.labels}) print("Test Accuracy:", test_accuracy) ``` 这个代码框架包含了一个基本的MLP模型，使用MNIST数据集进行训练和测试。您可以根据需要进行调整和修改，以获得更好的性能和准确性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值