训练优化笔记

最新推荐文章于 2024-04-16 16:09:43 发布
最新推荐文章于 2024-04-16 16:09:43 发布
阅读量2.3k 收藏
点赞数
分类专栏： 深度学习宝典
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jacke121/article/details/86670751
版权
本文记录了在训练过程中遇到的网络收敛问题。通过尝试分级损失函数，发现10级和5级的划分都未能有效收敛。调整损失函数的初始值大小，观察到当某侧损失过大时，另一侧会反向移动。理想的状况是损失函数在两个方向上都能收敛且方向相反，这样的设置能获得较好的优化效果。
摘要由CSDN通过智能技术生成

 

分级loss，分了10级，网络不收敛，后来分了5级，也不怎么收敛

 

开始loss设置很大，后来改小

 

如果一边增长过快，另一边则反方向运动(即与增长过快的方向移动)，说明loss偏大，应该减少loss，

效果比较好的是：两边loss向各个方向收敛，方向相反

 

AI算法网奇
关注
专栏目录
订阅专栏
CNN优化笔记
jacke121的专栏
08-13 1653
旷视提出Circle Loss，革新深度特征学习范式 ｜CVPR 2020 Ora Circle Loss 非常简单，而它对深度特征学习的意义却非常本质，表现为以下三个方面： 统一的（广义）损失函数。从统一的相似度配对优化角度出发，它为两种基本学习范式（即使用类别标签和使用样本对标签的学习）提出了一种统一的损失函数； 灵活的优化方式。在训练期间，向 s_n 或 s_p 的梯度反向传播会根据权重 α_n 或 α_p 来调整幅度大小。那些优化状态不佳的相似度分数，会被分配更大的权重因子，并..
多目标优化
热门推荐
withme的博客
04-24 4万+
多目标优化
多分类loss函数本质理解
ningyanggege的博客
09-03 1万+
一、面对一个多分类问题，如何设计合理的损失函数呢？       1、损失函数的本质在数学上称为目标函数；这个目标函数的目标值符合最完美的需求；损失函数的目标值肯定是0，完美分类的损失必然为0 ；       2、损失函数分为两部分，一部分为正确的分类，一部分为错误的分类；保留其中任何一个部分都可以达到目标；就好比两条路都可以通向罗马；都可以通过转化均可以令损失函数的最小值为0时，为目标值；（当...
数据挖掘（六）分类
keke_Memory的博客
12-16 1137
文章目录分类什么是分类？分类和数值预测监督 VS 无监督学习分类过程决策树决策树介绍决策树示例决策树算法特征选择特征选择方法：Information Gain （ID3）计算连续值型特征的信息增益Gain Ratio （C4.5）贝叶斯分类方法规则分类模型评估与选择提高分类准确性的技术总结 分类 什么是分类？ 假设： 银行贷款员需要对其数据进行分析，以了解贷款申请人对银行而言“安全”还是“风险”...
多模态大模型训练方法学习（笔记）
cc272018282的博客
04-16 2544
多模态大模型训练方法（学习）
yolov8学习笔记（二）模型训练
Pan_peter的博客
02-25 3209
首先，我们将了解如何通过标记数据集来制作用于训练的数据集，并提供了相关的操作指南链接。接着，我们将介绍YOLOv8的模型训练过程，包括参数设置、跟踪模型性能变化等内容，并提供了一些有用的训练参数和工具。 在进行模型训练之前，我们还需要购买适合的服务器，并上传必要的文件和库。同时，我们还会介绍如何使用TensorBoard等工具来监控训练过程中的参数和性能指标。 在完成模型训练后，我们可以使用模型进行验证和推理预测。这些操作可帮助我们评估模型的质量和准确性，并应用于不同类型的输入数据
BiSeNet训练笔记
rainforestgreen的博客
12-17 5454
BiSeNet训练总结笔记 针对BiSeNet语义分割模型，利用开源的pytorch项目，进行了训练尝试。主要是利用不同的head network（res18和res101），结合不同的优化方法（rmsprop和sgd），在不同batch下（1,2,4,8）进行Camvid数据集的训练。 训练结束以后，利用如下图片和真实标签进行测试和对比：     学习率poly更新策略 其中初始...
pytorch训练ImageNet笔记
wu_x_j_的博客
11-18 9284
  一：准确度的计算 # 计算准确度 def accuracy(output, target, topk=(1,5)): """Computes the precision@k for the specified values of k prec1, prec5 = accuracy(output.data, target, topk=(1, 5)) """ ...
VGG16预训练学习笔记
tumi678的博客
08-17 2万+
1. 迁移学习 2. 预训练模型 3. 使用预训练模型 4. 运用预训练模型  ? 提取特征(extractfeatures)  ? 优化模型(finetune the model) 5. 优化模型的方式 6. 在数字识别中使用预训练模型  ? 只针对输出密集层(outputdense layer)的重新训练  ? 冻结初始几层网络的权重因子 1什么是迁移学习？ 我们知道，神
凸优化笔记复习期末考试精简
10-24
这份"凸优化笔记复习期末考试精简"资料，应该是为了帮助学生准备期末考试而整理的精华内容，涵盖了凸优化的基本概念、理论和应用。 首先，我们来了解一下凸集和凸函数的概念。在欧几里得空间中，如果集合内的任意两...
斯坦福大学cs231n课堂笔记翻译 最优化笔记
09-28
斯坦福大学CS231n课程中的最优化笔记涵盖了深度学习中寻找最优参数集的过程，这是通过最小化损失函数来实现的。损失函数是衡量模型预测与实际数据之间不一致程度的一种方式，其目的在于通过调整参数来减少预测误差。...
猫狗识别模型训练实战笔记
11-07
总的来说，这篇笔记为读者提供了一个实际操作的平台，让非编程背景的初学者也能参与到AI模型的部署和训练中，降低入门门槛，并且通过实践学习到了模型训练和优化的关键步骤，为进一步深入学习AI技术打下了基础。
基于yolov3结合卡尔曼滤波匈牙利算法虚拟线圈的车流量检测python源码+项目说明.zip
09-21
本项目专注于视频基的车辆跟踪与流量统计，依托深度学习技术，实时追踪路面车辆动态并精准统计各车道车流量。该项目通过以下核心步骤高效处理输入视频数据： 高精度目标检测：采用YOLOv3模型，凭借其卓越的实时性与准确性，快速识别视频中的车辆目标，为后续追踪奠定坚实基础。 稳定目标追踪：集成SORT（Simple Online and Realtime Tracking）算法，结合卡尔曼滤波器预测车辆未来位置，同时运用匈牙利算法优化目标间的匹配，实现连续、稳定的车辆追踪，有效应对遮挡、交叉等复杂场景。 智能车流量统计：借鉴虚拟线圈概念，巧妙设计算法以监测穿越预设区域的车辆，自动计数并准确统计各车道车流量，为交通管理与分析提供可靠数据支持。 整体而言，本项目通过融合先进的目标检测与追踪技术，结合创新的流量统计方法，构建了一个高效、精准的实时车辆跟踪与流量统计系统，为智慧交通领域的发展贡献力量。
本科毕业设计--基于深度学习的人脸面部表情识别.zip
最新发布
09-21
深度学习是机器学习的一个子领域，它基于人工神经网络的研究，特别是利用多层次的神经网络来进行学习和模式识别。深度学习模型能够学习数据的高层次特征，这些特征对于图像和语音识别、自然语言处理、医学图像分析等应用至关重要。以下是深度学习的一些关键概念和组成部分： 1. **神经网络（Neural Networks）**：深度学习的基础是人工神经网络，它是由多个层组成的网络结构，包括输入层、隐藏层和输出层。每个层由多个神经元组成，神经元之间通过权重连接。 2. **前馈神经网络（Feedforward Neural Networks）**：这是最常见的神经网络类型，信息从输入层流向隐藏层，最终到达输出层。 3. **卷积神经网络（Convolutional Neural Networks, CNNs）**：这种网络特别适合处理具有网格结构的数据，如图像。它们使用卷积层来提取图像的特征。 4. **循环神经网络（Recurrent Neural Networks, RNNs）**：这种网络能够处理序列数据，如时间序列或自然语言，因为它们具有记忆功能，能够捕捉数据中的时间依赖性。 5. **长短期记忆网络（Long Short-Term Memory, LSTM）**：LSTM 是一种特殊的 RNN，它能够学习长期依赖关系，非常适合复杂的序列预测任务。 6. **生成对抗网络（Generative Adversarial Networks, GANs）**：由两个网络组成，一个生成器和一个判别器，它们相互竞争，生成器生成数据，判别器评估数据的真实性。 7. **深度学习框架**：如 TensorFlow、Keras、PyTorch 等，这些框架提供了构建、训练和部署深度学习模型的工具和库。 8. **激活函数（Activation Functions）**：如 ReLU、Sigmoid、Tanh 等，它们在神经网络中用于添加非线性，使得网络能够学习复杂的函数。 9. **损失函数（Loss Functions）**：用于评估模型的预测与真实值之间的差异，常见的损失函数包括均方误差（MSE）、交叉熵（Cross-Entropy）等。 10. **优化算法（Optimization Algorithms）**：如梯度下降（Gradient Descent）、随机梯度下降（SGD）、Adam 等，用于更新网络权重，以最小化损失函数。 11. **正则化（Regularization）**：技术如 Dropout、L1/L2 正则化等，用于防止模型过拟合。 12. **迁移学习（Transfer Learning）**：利用在一个任务上训练好的模型来提高另一个相关任务的性能。 深度学习在许多领域都取得了显著的成就，但它也面临着一些挑战，如对大量数据的依赖、模型的解释性差、计算资源消耗大等。研究人员正在不断探索新的方法来解决这些问题。
雷电模拟器改成真机环境
09-21
在Android系统中，模拟器通常会被识别为非真实的设备，这可能导致某些应用或服务无法正常运行，尤其是那些需要硬件信息或root权限的应用。改真机环境意味着通过技术手段使模拟器的行为更接近真实的Android设备，包括模拟设备硬件信息、IMEI、MAC地址等，以绕过检测并提升兼容性。LSPSED（Linux System Property Setter and Editor）模块是Magisk的一个扩展，专门用于修改Android系统的系统属性。通过LSPSED，我们可以更改设备的各种系统属性，如设备型号、制造商信息等，这些修改对于使模拟器看起来更像真实设备至关重要。在使用过程中，还需要添加几个机型模块，这些模块通常包含了特定设备的系统配置信息，如设备代号、硬件信息等。通过安装这些模块，雷电模拟器可以模仿各种流行的Android设备，进一步提高应用的兼容性和真实性。
CenterNet 部署版本，便于移植不同平台（onnx、tensorRT、rknn、Horizon）
09-21
CenterNet 是一种用于目标检测的神经网络架构，它的核心思想是利用目标的中心点作为检测的关键信息。这种方法与传统的目标检测方法（如基于边界框的方法）有所不同，因为它不直接预测目标的边界框，而是预测目标的中心点坐标和目标的宽度与高度。 CenterNet 的主要特点包括： 1. **中心点预测**：网络输出目标的中心点坐标，以及目标的宽度和高度。 2. **热图（Heatmap）**：网络生成一个热图，其中每个像素点的值表示该点成为目标中心点的概率。 3. **回归任务**：除了中心点坐标，网络还需要预测目标的宽度和高度，这通常通过预测中心点周围的偏移量来实现。 4. **多任务学习**：CenterNet 通常会同时预测目标的类别、中心点坐标、宽度、高度以及目标的旋转角度（在某些变体中）。 5. **端到端训练**：CenterNet 可以直接在最终的目标检测任务上进行端到端的训练，无需复杂的区域提议网络（Region Proposal Network, RPN）或锚点（anchor）机制。 6. **高效性**：由于省略了传统目标检测中的一些步骤，CenterNe
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试.docx
09-21
CSP-J是计算机科学学科相关的青少年科技爱好者等级考试，全称为青少年软件编程等级考试。以下是对CSP-J的详细介绍： 一、考试背景与目的 CSP-J考试是由全国青少年软件编程等级考试标准工作组制定，并得到中国电子学会的认可，旨在培养青少年计算机科学素养和编程能力。通过参加这一考试，青少年可以检验自己的学习成果，增强自信心和竞争力，同时为他们未来在计算机科学领域的深入学习和职业发展打下坚实的基础。 二、考试内容与形式 CSP-J考试主要面向入门级别的青少年，考察内容侧重于计算机基础知识和算法的理解。考试形式分为初赛（笔试）和复赛（机试），即CSP-J1与CSP-J2。 初赛（CSP-J1）：侧重于理论知识的考核，包括计算机基础知识、算法基本概念等，以笔试形式进行。 复赛（CSP-J2）：更侧重于上机编程能力的实践考察，要求参赛者在计算机上完成编程任务。 参赛者必须先参加初赛，并达到一定的分数方可参加复赛。 三、报名与参与 报名方式：CSP-J/S认证面向所有对计算机科学有兴趣的青少年开放，报名和认证过程均在网上进行。认证点由CCF（中国计算机学会）授权的CSP非专业级别省认证组
深度学习最优化：斯坦福cs231n课堂笔记翻译
"这篇资源是斯坦福大学计算机视觉课程CS231n的最优化笔记翻译，涵盖了深度学习中如何利用梯度找到损失函数的最小值，涉及随机搜索、随机局部搜索、梯度下降等优化策略。" 在深度学习中，最优化是一个核心概念，它的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI算法网奇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值