深度学习里面为什么喜欢用对数

最新推荐文章于 2024-05-08 17:57:43 发布
最新推荐文章于 2024-05-08 17:57:43 发布
阅读量219 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45560230/article/details/132105005
版权

1.这样可以简化计算并提高稳定性，有着相同的临界点
在这里插入图片描述
2.由P(A).P(B)给出两个独立事件A和B共同出现的概率。如果我们使用log，即log(P(A)) + log(P(B))，这很容易映射到一个和。因此，更容易将神经元触发的“事件”作为线性函数来处理。

3将两个或更多这样的小数字相乘很容易导致浮点精度算术中的下溢(例如，考虑乘以0.0001*0.00001)

小宋加油啊
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
S1P1 神经网络与深度学习1
08-04
1 Logistic回归损失函数 Icj y推导 佀设叫 x 0 hocx取对数lcoiloglCO yghcx以 1-少logcthcx们要使极似然函数最 则
为什么特征数据要做对数变换？
weixin_43589681的博客
05-10 9595
平时在一些数据处理中，经常会把原始数据取对数后进一步处理。之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 缩小数据的绝对数值，方便计算。例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 取对数后，可以...
(笔记)为什么各种算法、机器学习中常常看见对数log的身影
04-02 294
例如，中文分词的mmseg算法，计算语素自由度时候就取了对数，这是因为，如果某两个字的频率分别都是500，频率和为1000，另外两个字的频率分别为200和800，如果单纯比较频率和都是相等的，但是取对数后，log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411，这时前者的和更大，取前者。实践中，取对数的一般是水平量()，而不是比例数据，例如变化率等。2. 取对数后，可以。
深度学习-caffe保存训练输出到log 并绘制accuracy loss曲线
liuweizj12的博客
03-22 1万+
在训练过程中画出accuracy 和loss曲线能够更直观的观察网络训练的状态，以便更好的优化网络的训练。本文主要介绍在基于caffe框架训练网络时，如何利用caffe自带的一些实用的工具包来绘制曲线 一、设置训练配置文件参数，保存训练时的参数至log文件  TOOLS=./build/tools LOG=examples/testCreateLmDB/log/log-`date +%Y-
深度学习训练模型时将每个epoch的结果输出到log文件中(涉及知识点loguru包的使用)
分享计算机视觉，C++，嵌入式等知识。
12-01 663
loguru是一个功能强大、简单易用的日志库，它提供了一种简单的方式来记录日志。
深度学习模型量化基础
LuchangLi 的专栏
11-30 7079
深度学习模型量化基础
五万字总结,深度学习基础。
热门推荐
AI浩
08-11 4万+
文章目录1 基本概念1.1 神经网络组成？1.2 神经网络有哪些常用模型结构？1.3 如何选择深度学习开发平台？1.4 为什么深层神经网络难以训练？1.5 深度学习和机器学习的异同？2 网络操作与计算2.1 前向传播与反向传播？2.2 如何计算神经网络的输出？2.3 如何计算卷积神经网络输出值？2.4 如何计算 Pooling 层输出值输出值？2.5 实例理解反向传播2.6 神经网络更“深”有什么意义？3 超参数3.1 什么是超参数？3.2 如何寻找超参数的最优值？3.3 超参数搜索一般过程？4 激活函数4
在变式中进行数学深度学习——以“对数函数单调性的应用”教学为例.pdf
08-18
在变式中进行数学深度学习——以“对数函数单调性的应用”教学为例.pdf
追求深度学习,促进思维生长——以“对数函数”教学为例.pdf
08-18
追求深度学习,促进思维生长——以“对数函数”教学为例.pdf
用对数放大器实现射频功率控制
02-03
用对数放大器实现射频功率控制、电子技术,开发板制作交流
Python《基于深度学习实现动力电池健康状态评估与剩余寿命预测 》+源代码+设计资料
04-16
本次使用的模型为五个机器学习模型: SVR, ElasticNet, KernelRidge, XGBRegressor, GradientBoostingRegressor 以及一个深度学习模型的平均融合模型. - 不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是...
深度学习入门笔记(四)(上)
weixin_45073036的博客
08-22 859
深度学习入门笔记（四） 神经网络的学习 这一节主要讲解神经网络的学习，这里所说的“学习”是指从训练数据中自动获取最优权重参数的过程。为了使神经网络能够进行学习，将导入损失函数这一指标。学习的目的就是以损失函数为基准，找出能使损失函数的值达到最小的权重参数。 一.从数据中学习 1.数据驱动 先来思考一个具体的问题，比如如何实现数字“5”的识别。数字5是手写图像，我们的目标是实现能区别是否是5的程序。 我们可以通过有效利用数据来解决这个问题。一种方案是，先从图像中提取特征量，再用机器学习技术学习这些特征量的模
现代循环神经网络(GRU、LSTM)（Pytorch 14）
March_A的博客
05-04 1398
现在我们将定义隐状态的初始化函数init_gru_state。定义的nit_rnn_state函数，此函数 返回一个形状为（批量大小，隐藏单元个数）的张量，张量的值全部为零。现在我们准备定义门控循环单元模型，模型的架构与基本的循环神经网络单元是相同的，只是权重更新公式 更为复杂。
如何开发自己的深度学习优化算法
qlkaicx的博客
05-07 574
步骤 1: 定义问题和目标明确你的优化算法需要解决的具体问题。是需要解决训练速度慢的问题，还是提高模型在特定类型数据上的表现？明确目标是开发过程中的第一步。步骤 2: 研究现有算法详细研究现有的优化算法，理解它们的优点和局限性。分析这些算法在特定场景下表现不佳的原因，这将帮助你找到改进的方向。步骤 3: 开发初步想法基于对现有算法的分析，开发出改进的策略或完全新的方法。这可能涉及到引入新的数学模型、调整参数更新规则或者使用不同的梯度估计方法。步骤 4: 创建原型使用Python等编程语言实现你的算法原型。
深度学习实战77-基于CNN+BiLSTM的异常用电行为的识别算法研究与实战
最新发布
weixin_42878111的博客
05-08 79
大家好，我是微学AI，今天给大家介绍一下深度学习实战77-基于CNN+BiLSTM的异常用电行为的识别算法研究与实战。 在智能电网的快速发展背景下，电力系统的安全稳定运行显得尤为重要。异常用电行为，如非法窃电、设备故障导致的非正常耗电等，不仅影响电网的经济效益，还可能威胁电网的安全。因此，开发一种高效准确的异常用电行为识别算法具有重要的实际意义。
深度学习500问——Chapter08：目标检测（7）
不要给自己设限，尝试更多可能（思所向 皆可往）
05-04 1264
RFBNet有哪些创新点1. 提出RF block（RFB）模块RFBNet主要想利用一些技巧使得轻量级模型在速度和精度上达到很好的trade-off的检测器。灵感来自人类视觉的感受野结构Receptive Fields（RFs），提出了新奇的RF block（RFB）模块，来验证感受野尺寸和方向性的对提高有鉴别器鲁棒特征的关系。RFBNet是以主干网络（backbone）为VGG 16的SSD来构建的，主要是在Inception的基础上加入了dilated卷积层（dilated convolution），
kan 这是什么（想多了哈哈）
东方佑
05-04 1190
模型结构包括三个Xus层和一个输出层。模型的输入是两个一维张量x和y，经过线性变换后输入到Xus层中进行计算，最后输出到输出层进行预测。训练过程中使用均方误差损失函数进行优化，并使用AdamW优化器更新模型参数。在训练过程中，首先根据当前模型的参数计算输出值out，然后计算输出值与真实值z之间的均方误差损失loss。然后通过调用优化器的clear_grad方法清空梯度信息，再通过调用backward方法计算梯度，最后调用step方法更新模型参数。最终训练完成后，模型参数得到更新，可以使用该模型进行预测。
超越视觉极限：深度学习图像超分辨率算法清单【第二部分】
今晚打老虎的专栏
05-07 1095
自从深度学习技术被引入到图像超分辨率的研究中，它就彻底改变了我们提升图像质量的方式。本文将带您穿越时间的长河，从2014年的SRCNN算法，到2024年的最新进展，每一次技术的飞跃都为我们打开了新的可能性。我们将总结2014年到2024年出现的各个超分算法的关键技术和创新点。无论您是人工智能的专业人士，还是对前沿科技保持好奇的爱好者，这篇文章都将为您展示深度学习如何在不断超越的视觉极限中扮演关键角色。
生成对抗网络的损失函数为什么要用对数损失函数
03-13
为什么要使用对数损失函数呢？对数损失函数（也称为二元交叉熵损失函数）在GAN中被广泛使用，因为它具有以下几个优点： 1. 数学性质：对数损失函数具有良好的数学性质，可以帮助优化算法更快地收敛。 2. 梯度稳定...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小宋加油啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值