简单神经网络搭建；使用不同的损失函数实验

最新推荐文章于 2024-03-24 11:34:46 发布
最新推荐文章于 2024-03-24 11:34:46 发布
阅读量1.4k 收藏 4
点赞数
分类专栏： 工作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/georgeandgeorge/article/details/78969003
版权
本文通过实验对比了MSE和CE两种损失函数在神经网络中的表现，使用HTRU_2脉冲星数据集进行训练。实验结果显示，交叉熵损失函数（cross entropy）在分类任务中取得最佳效果，F-score达到87%。
摘要由CSDN通过智能技术生成

数据集：HTRU_2脉冲星二分类数据集（总样本数为17898，正负样本数的比值约为9:1）

本文先对loss function分别为MSE和CE的情况，推导了使用梯度下降算法对之前层的权重和偏置进行更新的公式；然后，用HTRU_2的数据集进行简单的实验。

一.公式推导（本文原来使用mathematica写的，其中的公式与网页编辑器不兼容，所以使用截图的方式呈现）




最低0.47元/天 解锁文章
georgeandgeorge
关注
专栏目录
keras:多输入多输出网络设置不同的损失函数
weixin_43790560的博客
06-30 3984
参考这篇文章： https://blog.csdn.net/weixin_40920290/article/details/80917353
损失函数——机器学习
公众号：风景邮递Yuan的博客
11-23 1938
均方差函数常用于线性回归计算预测值和真实值之间的欧式距离。预测值和真实值越接近，两者的均方差就越小。交叉熵误差是一个-log函数，也就意味着，交叉熵误差值越小，神经网络在对应正确解标签的输出越接近1，即神经网络的判断和正确解标签越接近。
用自定义损失函数实现选择启用不同子网络
zhangsheng377的博客
03-31 1155
背景 最近发现有一道题，还挺有意思的。题目大意是，每条训练样本是一个文章对，labelA标签标识这两篇文章相似，labelB标签标识这两篇文章属于同一事件(即紧相似)，但这个文章对不会同时拥有两个标签，即要么有A标签，要么有B标签，且A、B标签的文章对不重合。 面对这道题，一般的思路是建立两个模型。但因为标签A、B其实是有相似程度上的联系的，单独训练两个模型就失去了标签的相关性，感觉比较亏。 但如果要训练多任务的单模型，也比较麻烦。因为一个样本不能同时拥有这两个标签，而且比如不属于同一事件，没办法推出是否相
mathematica 第一次使用神经网络
flaribbit的博客
07-22 2108
题目原因/背景 略 代码仅适用于mathematica11以上版本 数据： data={{-261,-105,-53,-68}->{0,0,0,0,1},{-280,-111,-58,-74}->{0,0,0,0,1},{-287,-108,-48,-69}->{0,0,0,0,1},{-300,-110,-52,-67}->{0,0,0,0,1},{-319,-1...
【Keras】MLP多层感知机
brucewong0516的博客
12-09 3254
在进行神经网络模型的构建时，有优化模型训练速度的技巧，以下从两个方面进行分析。并在接下来实现MLP的模型中应用。 1、优化梯度下降 之前使用的梯度下降训练模型，优化模型的参数，但是每次更新梯度时需要把数据集中的每个样本都重新计算一边，在海量计算的深度学习中，这个计算量非常的大。 因此引入随机梯度的思想，随机抽取一批数据进行计算（数据量参数是：batch_size），这样计算量会大大减少，但是
神经网络基础：激活函数损失函数与优化器
AGI通用人工智能之禅
03-24 1036
神经网络基础：激活函数、损失函数与优化器 作者：禅与计算机程序设计艺术 1. 背景介绍 随着深度学习的蓬勃发展,神经网络已经成为当今人工智能领域最为重要和广泛应用的技术之一。神经网络的核心在于它能够通过学习数据中隐藏的复杂模式,从而实现对未知数据的高效预测和分类。而在
神经网络拟合sin函数：利用pytorch搭建简单的线性网络，训练并且拟合sin函数
最新发布
04-03
本知识点介绍了如何使用PyTorch构建一个简单的神经网络来拟合正弦函数（sin函数）。我们将详细探讨以下内容： 1. PyTorch基础和用途： PyTorch是一个开源的机器学习库，基于Python编程语言，它用于实现神经网络的...
基于BP神经网络的函数逼近 实验报告
11-24
BP（Error Back Propagation）神经网络是一种多层前馈网络，通过反向传播算法来调整网络权重，以达到最小化损失函数的目标。BP网络在机器学习领域占据着重要的地位，尤其是在函数逼近、模式识别、分类和数据压缩等...
(完整)基于BP神经网络的手写数字识别实验报告.docx
06-16
本实验报告详细介绍了使用BP神经网络对MNIST手写数字数据集进行识别的过程，旨在深化对机器学习和神经网络的理解，并为非计算机专业的学生提供将深度学习应用于实际问题的实践经验。 BP（Back Propagation）神经...
PulsarStarEDA：Pulsar星级分类数据集中的探索性数据分析
02-20
探索性数据分析-脉冲星分类数据集 探索性数据分析100天的第8天 内容 罗伯特·里昂博士 HTRU2是一个数据集，描述了在高时间分辨率宇宙调查中收集的脉冲星候选样本。 脉冲星是稀有类型的中子星，会在地球上产生可探测到的无线电辐射。 它们对时空，星际介质和物质状态的探测具有相当大的科学兴趣。 当脉冲星旋转时，它们的发射束会扫过天空，当它穿过我们的视线时，会产生可检测到的宽带无线电发射模式。 随着脉冲星快速旋转，此模式会定期重复。 因此，脉冲星搜索涉及使用大型射电望远镜寻找周期性的无线电信号。 每个脉冲星产生的发射模式略有不同，随着每次旋转，发射模式也略有不同。 因此，根据观测时间的长短，在脉冲星的许多旋转过程中对被称为“候选”的潜在信号检测进行平均。 在没有其他信息的情况下，每个候选人都可能描述一个真实的脉冲星。 但是实际上，几乎所有检测都是由射频干扰（RFI）和噪声引起的，因此很难找
损失函数——交叉熵损失函数
weixin_44023658的博客
07-22 2918
交叉熵代价函数（Cross-entropy cost function）是用来衡量人工神经网络（ANN）的预测值与实际值的一种方式。与二次代价函数相比，它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前，本文先简要介绍二次代价函数，以及其存在的不足。 一、二次代价函数的不足 ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时，当发现自己犯的错误越大时，改正的力度就越大。比如投篮：当运动员发现自己的投篮方向离正确方向越远，那么他调整的投篮角度就应该越大，篮球就更容易投进篮筐。同理，
10、神经网络案例学习
青星大学
07-27 2481
目录 10.1 生成数据 10.2 训练Softmax线性分类器 10.2.1初始化参数 10.2.2计算分类得分 10.2.3计算损失 10.2.4用反向传播算法计算解析梯度 10.2.5执行参数更新 10.2.6 组装到一起：训练一个Softmax分类器 10.3 训练一个神经网络 10.4 总结 在这一节中，我们将用模拟数据集(2个特征)，实现一个完整的2层神经...
损失函数MSELoss和CELoss
MyHeartWillGoOn
03-27 5029
损失函数 文章目录损失函数含义：标准：常用的两种损失函数均方误差损失函数（MSE）【Mean Square Error Loss】交叉熵损失函数（CS）【Cross Entropy Loss】均方误差损失函数计算公式含义解释代码实现适用范围交叉熵损失函数计算公式含义解释代码实现适用范围 含义： 用于衡量在训练集上模型的输出与真实输出的差异 标准： 损失函数越小，模型输出与真实输出越相似，模型效果越好 常用的两种损失函数 均方误差损失函数（MSE）【Mean Square Error Loss】 交叉
多模态信息用于推荐系统问题（PMGT，MM-Rec，MGAT，TransRec）
nakaizura
08-29 2492
而在实际的推荐系统中，推荐的物品可以是各种新闻、图片或视频（如上图的source domain的来源可以是任何信息），因此基于混合模态反馈的推荐模型是实现可迁移和通用推荐的重要途径，并且可以迁移到属于任何源领域模态组合的目标域（如上图target domain可以是单模态，也可以是多模态）。MGAT (Multimodal Graph Attention Network)的模型结构如上图，分为两条通道，首先信息会在不同模态的交互图上进行信息传播，再同时利用门控注意机制捕捉用户对不同模态的喜好。...
神经网络的损失函数讲解
总裁余（余登武）博客
10-27 7463
本文讲解神经网络中的损失函数，包括分类和回归。
SSD网络解析之MultiBoxLoss层
qq_21368481的博客
08-30 8898
SSD网络中的MultiBoxLoss层是根据论文2.2节所提出的损失函数而写的相应caffe实现，也是整个SSD网络很重要的部分。 首先，我们还是先来看一下论文原文对此部分的描述： ①英文部分 Training objective The SSD training objective is derived from the MultiBox objective [7,8] but is e...
分类评价指标小结P，R，Sn，Sp，F1，MCC
热门推荐
qq_41937076的博客
08-28 1万+
查准率P ，查全率R 查准率亦称为“准确率”，查全率亦称为“召回率” P-R曲线 F1 Sn， Sp，Acc Sensitivity Sn = TP /（TP+FN） Specificity Sp = TN / (TN+FP) Accuracy Acc = （TP+TN）/（TP+FN+TN+FP） MCC（Matthews correlation coefficient） （随时补充） ...
训练深度学习神经网络时如何选择损失函数
Explore
07-17 1万+
1. 回归的损失函数：均方误差损失，平均平方对数误差损失，平均绝对误差损失； 2. 二值分类损失函数：二叉熵、Hinge损失、Squared Hinge损失； 3. 多类分类损失函数：多类交叉熵损失、稀疏多类交叉熵损失、Kullback Leibler散度损失。
神经网络实验：理解与训练
实验目标在于让参与者理解神经网络的基础结构，包括前馈神经网络、激活函数（如sigmoid）、损失函数（均方损失函数）以及反向传播算法。实验要求使用一个全连接神经网络对手写数字数据集进行分类，网络结构为输入层...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值