基于交叉熵准则(Cross Entropy Criteria)的神经网络训练

已于 2022-08-24 07:57:34 修改
阅读量4.2k 收藏 5
点赞数 2
分类专栏： 机器学习 文章标签： 神经网络 深度学习 python
于 2015-01-17 15:07:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chinabing/article/details/42805491
版权
本文介绍了基于交叉熵准则的神经网络训练方法，详细阐述了网络结构、目标函数以及利用BP算法进行的模型更新过程。
摘要由CSDN通过智能技术生成

基于交叉熵准则(Cross Entropy Criteria)的神经网络训练

1. 神经网络结构

上图为一个三层神经网络结构图。

输入层为特征输入，隐层激活函数使用sigmoid函数，输出层激活函数使用softmax函数。

2. 目标函数

DNN is trained by maximizing the posterior probablity overthe training frames. This is equvalent to minimizing the cross-entropy objective function.

3. 基于BP算法的模型更新

 

最低0.47元/天 解锁文章
平凡的兵
关注
专栏目录
神经网络的交叉熵损失函数
seaboat——a free boat on the sea.（公众号：远洋号）
07-04 7748
常见损失函数 0-1损失函数 L(Y,f(X))={1,0Y != f(X)Y = f(X)L(Y,f(X))=\begin{cases}1,& \text{Y != f(X)}\\0& \text{Y = f(X)}\end{cases} 平方损失函数 L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y-f(X))^{2} 绝对损失函数L(Y,f(X))=|(Y−f(X))|L(Y
神经网络设计原则
weixin_38359037的博客
04-02 1304
神经网络训练完，不准或准确率低，可考虑以下方面： 一、神经网络拓扑结构 神经网络结构一般由输入层、隐层、输出层构成。输入层的神经元个数是特征维度，隐层是提取输入特征中隐藏的规律，输出层的神经元个数是分类类别数。一般，给定训练样本后，输入层和输出层的神经元个数是已知的，我们只需要考虑的是隐层的个数及隐层神经元个数。如果隐层神经元个数太少，学习效果差，不易找出输入特征规律，如果隐层神经元个数太多，网络...
交叉熵
weixin_30314793的博客
02-23 169
1、交叉熵的定义： 在信息论中，交叉熵是表示两个概率分布p,q，其中p表示真实分布，q表示非真实分布，在相同的一组事件中，其中，用非真实分布q来表示某个事件发生所需要的平均比特数。从这个定义中，我们很难理解交叉熵的定义。下面举个例子来描述一下： 假设现在有一个样本集中两个概率分布p,q，其中p为真实分布，q为非真实分布。假如，按照真实分布p来衡量识别一个样本所需要的编码长度的期望为...
交叉验证
ACdreamer
03-27 1万+
今天来讲一种在机器学习中常用的精度测试方法，叫做交叉验证。它的目的是得到可靠稳定的模型，具体做法是拿出 大部分数据进行建模，留小部分样本用刚刚建立的模型进行预测，并求出这小部分样本预测的误差，记录它们的平方 和，这个过程一直进行，直到所有的样本都恰好被预测了一次，交叉验证在克服过拟合问题上非常有效。接下来介绍 一些常用的交叉验证方法。     1. 10折交叉验证      10折
交叉熵函数原理
weixin_42525633的博客
11-18 307
交叉熵函数交叉熵函数信息量熵相对熵（KL散度）交叉熵 交叉熵函数 信息量 一个信息的信息量取决于该消息对应事件发生概率的大小。或者说信息量是用来消除****随机不确定性的东西，衡量信息量的大小在于该信息消除不确定性的程度 例： 对于事件A，如果P(A)=1P\left ( A \right ) = 1P(A)=1,信息（A事件发生了）没有消除任何不确定性，则该信息量为0 如果事件B的发生概率很小，则信息（B事件发生了）消除了很大的不确定性，该信息量也很大 假设XXX是一个离散型随机变量，其取值的集合为ϕ\p
pytorch：交叉熵（cross entropy）
weixin_62637793的博客
11-16 8149
entropy中文叫做熵，也叫不确定性，某种程度上也叫惊喜度（measure of surprise）
Tensorflow 交叉熵（Cross Entropy）详解
ip5108的博客
03-10 1792
数学基础 1）e ，自然对数ln的底数，是个无理数，e=2.71828… 2）f(x)=e^x的函数如下： XXXX XXXX XXXX
PyTorch 中的交叉熵函数 CrossEntropyLoss 的计算过程
随风秀舞（diyoosjtu）
04-09 1万+
CrossEntropyLoss() 函数联合调用了 nn.LogSoftmax() 和 nn.NLLLoss()。 假设网络得到的输出为 hhh，它的维度大小为 B×CB\times CB×C，其中 BBB 是 batch_size，CCC 是分类的总数目。与之对应的训练数据的标签 yyy 维度是 1×B1\times B1×B，yyy 中元素的取值范围是 [0,C−1][0, C-1][0,C...
关于交叉熵（Cross Entropy）与Softmax
qqq_aaa_zzz1的博客
08-20 4681
目录 写在前面 KL散度 交叉熵 Softmax 交叉熵与Softmax的关系 交叉熵损失 Softmax的求导 堆叠+向量化 其他关于Softmax函数的问题 赠品 写在前面 Softmax、交叉熵、交叉熵损失是机器学习与神经网络模型的重要组成部分，一般来说，Softmax一般用于criterion(标准)，交叉熵与交叉熵损失用来衡量模型预测与实际结果间的差别并产生用于反向传播的梯度。...
【机器学习入门】交叉熵损失函数与MLE准则
jasonso97的博客
01-17 1377
交叉熵损失函数最小化与MLE估计是等价的，不同的任务（如线性回归、二分类、多分类）导出的交叉熵损失函数具体样子不同。这篇文章对以上三种任务的交叉熵损失函数\代价函数进行了一定的推导介绍。
交叉熵学习笔记
weixin_44031260的博客
11-20 355
一、信息熵 (information entropy) 一条信息的信息量大小和它的不确定性有直接的关系。我们需要搞清楚一件非常非常不确定的事，或者是我们一无所知的事，就需要了解大量的信息。相反，如果我们对某件事已经有了较多的了解，我们就不需要太多的信息就能把它搞清楚。 所以，从这个角度，我们可以认为，信息量的度量就等于不确定性的多少。比如，有人说广东下雪了。对于这句话，我们是十分不确定的。因为广东...
交叉熵损失用于mnist分类、Dropout用于两层神经网络用于mnist分类、Adam、不断减小的学习率用于mnist分类
qq_34514046的博客
08-20 407
softmax+交叉熵损失用于mnist分类 # coding: utf-8 import tensorflow as tf from tensorflow.examples.tutorials.mnist import input_data #载入数据集 mnist = input_data.read_data_sets("./MNIST_data",one_hot=True) #每个批次的...
使用随机梯度下降法进行深度网络的学习
weixin_43872532的博客
01-15 645
神经网络的学习（随机梯度下降法）损失函数均方误差交叉熵函数梯度法数值法求梯度三级目录 损失函数 均方误差 可以做损失函数的函数有很多，其中有名的是均方误差，如下式所示： E=12∑k(yk−tk)2E=\frac{1}{2}\sum_{k} (y_k-t_k)^2E=21​k∑​(yk​−tk​)2 这里，yky_kyk​表示神经网络的输出，tkt_ktk​表示监督数据，k是数据的维度 例如，之前手写数字的识别一例中 yky_kyk​ ，tkt_ktk​是由10各元素组成的数据 y=[0.1,0.05
深度学习入门（4）【深度学习实战】无框架实现两层神经网络的搭建与训练过程
阿旭的博客
11-29 1877
上一篇文章《深度学习入门（3）神经网络参数梯度的计算方式》主要介绍神经网络中的参数梯度是如何计算的。本文将直接使用之前公众号介绍过损失函数、激活函数以及梯度计算直接手动实现一个两层的神经网络训练过程。 也许有人会说使用pytorch或者tensorflow框架，几行代码就可以搭建一个神经网络，为什么要自己手动去实现呢？我觉得使用现成框架确实很容易搭建一个神经网络，但是对于其中的计算原来如果不了解的话，那始终只会停在使用框架的基础上，如果能够自己亲手去了解其中的工作原理，手动去实现一下，也许能够对其有更深刻的
# cross-entropy(交叉熵)损失函数
Chenglin(Ben) Yu's Miracle
07-10 2293
cross-entropy(交叉熵) 参考文献 https://ml-cheatsheet.readthedocs.io/en/latest/loss_functions.html#cross-entropy 交叉熵是个数，是机器学习损失函数中的一种。 交叉熵损失函数也叫做log损失函数。交叉熵损失函数measures the performance of a classification mod...
C语言实现神经网络
最新发布
weixin_62562497的博客
09-04 1685
这个例子中，我们实现了一个简单的单层神经网络，它只有一个输入节点和一个输出节点，权重向量有3个元素（对应于输入节点和输出节点之间的3个连接），偏置为0。我们使用sigmoid作为激活函数，使用梯度下降法进行训练。在训练过程中，我们根据期望的输出和实际的输出计算误差，然后根据误差和梯度更新权重和偏置。最后，我们使用训练好的神经网络来计算输入为[1, 1]时的输出，输出结果为0.99。神经网络是一种深度学习的结构，它可以模拟人脑的神经元来进行复杂的学习和预测。下面是一个简单的使用C语言实现神经网络的例子。
交叉熵（Cross-Entropy）与最大似然
__kingzone__的专栏
07-18 3772
交叉熵（Cross-Entropy） 交叉熵是一个在ML领域经常会被提到的名词。在这篇文章里将对这个概念进行详细的分析。 1.什么是信息量？ 假设XX是一个离散型随机变量，其取值集合为X，概率分布函数为p(x)=Pr(X=x),x∈p(x)=Pr(X=x),x∈X，我们定义事件X=x0X=x0的信息量为：  I(x0)=−log(p(x0))I(x0)=−log(p(x0))，可以理解为...
深度学习与计算机视觉系列(8)_神经网络训练与注意点
热门推荐
寒小阳
01-15 5万+
在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。
crossentropy java_交叉熵(Cross Entropy loss)
05-16
交叉熵（Cross Entropy）是一种用于度量两个概率分布差异的方法。在机器学习中，交叉熵常用于分类问题中的损失函数。交叉熵损失函数可以用来衡量模型输出和真实标签之间的差异，从而帮助我们优化模型。 在Java中，可以通过以下方式计算交叉熵损失函数： ```java public static double crossEntropy(double[] y_true, double[] y_pred) { double loss = 0.0; for (int i = 0; i < y_true.length; i++) { loss += y_true[i] * Math.log(y_pred[i]) + (1 - y_true[i]) * Math.log(1 - y_pred[i]); } return -loss; // 取负号，因为我们要最小化损失函数 } ``` 其中，`y_true`代表真实标签，`y_pred`代表模型预测的标签概率分布。这里假设`y_true`和`y_pred`的长度相同。在计算过程中，我们首先对每个标签的交叉熵损失进行累加，最后再取负号，因为我们要最小化损失函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值