深度学习SOTA模型对比时超参怎么设置？

最新推荐文章于 2025-05-06 15:35:58 发布
最新推荐文章于 2025-05-06 15:35:58 发布
阅读量1.4k 收藏 5
点赞数 4
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51775081/article/details/137289124
版权

在做SOTA模型对比实验不同的模型、数据集在不同的超参数得到的结果差异较大，主要有两种设置方法：
一、直接下载别人论文的代码，然后更换为自己需要的数据集，将结果记录，作为对比算法。
二、我只取其他人论文的模型部分，然后把所有对比算法模型都放在一个框架下跑，全部设置一样的超参数等。也就是除了模型(比如ResNet、DenseNet、PresNet、YOLO等等)不一样，其它所有参数等保持一致。

以下是网上的一些看法：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
欢迎大家留言讨论论文中SOTA模型对比时超参是怎么设置的，如能附上论文举例更好😊

【深度学习基础|专业术语】SOTA、baseline和backbone是在深度学习模型构建和比较时常见的三个术语，你知道分别是什么意思吗？
2401_89898861的博客
12-24 1469
【深度学习基础|专业术语】SOTA、baseline和backbone是在深度学习模型构建和比较时常见的三个术语，你知道分别是什么意思吗？
深度学习系列资料总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
深度学习论文撰写实验对比分析时复现其它论文方法的问题
qq_40280673的博客
06-27 5039
深度学习论文写作方面的问题，论文对比实验中的数据应该把其他模型自己跑一遍还是直接用模型作者自己的实验数据，由于有些模型没有开源，自己难以复现。 如果直接用了别人的模型数据，预测结果可视化中，该怎么用其他的模型预测结果？
深度学习 从零开始 —— 神经网络（四又二分之一），二分类问题，调参对比测试，自己探讨
wwb1990的博客
03-15 789
这一张承接上一章的IMDB数据集 修改训练相关参数，对比实验，看一看在二分类问题上不用参数，优化器，激活函数，对于模型的变化。 加深理解，和参悟。 代码只截取片段： （2）上一篇的结果 model.add(layers.Dense(16,activation='relu',input_shape=(10000,))) model.add(layers.Dense(16,activation='re...
深度学习常用参数&评估指标详细汇总
bkirito的博客
02-21 3861
对深度学习中常用的一些训练参数和评估指标和相应的原理进行简单梳理与汇总
如果在一篇论文里进行对比实验和消融实验
qq_45041637的博客
07-04 1965
【为个人学习记录所用】需要做的是：把每个模型都调整一下， 对同样的数据进行预测处理，得到结果。把对数据进行处理的步骤做出移除、观察试验结果的变化。
深度学习t11-优化器对比实验
qq_66033623的博客
06-30 332
本文为🔗中的学习记录博客我的环境：1.语言：python3.72.编译器：pycharm3.
不同框架模型的对比试验
qq_39748425的博客
06-30 2007
分析各个模型之间的不同之处以及针对Minst数据（手写数字识别），针对pytorch的分析，大三刚学，不喜勿喷！
深度强化学习算法研究中的常用对比试验及作图技巧
李大旗的博客
11-12 6447
文章目录前言常用性能指标1 比较学习算法的性能（performance）2 比较学习速度（speedup）3 比较数据有效性（data efficiency）4 比较算法对超参数的鲁棒性（robustness to hpyerparameters）参考文献 前言 目前研究强化学习/深度强化学习的很多文献在验证自己算法性能时常常会选择将该算法应用于Atari视频游戏。在这些文献中，他们为了说明自己算...
识别实验笔记和经验总结
985小菜鸡
07-27 1587
数据集大小：如果数据集较大，静态划分通常足够。如果数据集较小，动态划分可以提供更可靠的结果。计算资源：动态划分需要更多的计算资源和时间。实验目的：如果目的是对比多个模型的性能，静态划分可以确保一致的对比基准。如果目的是评估单个模型的稳健性，动态划分则更为合适。根据具体情况，可以选择一种或结合多种方法进行实验设计。静态划分的数据集需要确保每一个类别的图像数量比例在训练集、验证集和测试集中的比例固定。这样可以确保每个子集中的数据分布一致，避免模型在某些类别上的表现受到不均衡数据分布的影响。
实用深度学习模型调参概要
m0_51518257的博客
10-17 468
tip：个人在做模型时，数据分割已经固定，但是acc上下还是浮动十分大，猜想是训练时的dropout和batch组合随机带来的acc变化，并且colab的gpu也是不固定的。总结：我的模型是较小的，用Automl是个不错的方法，可以自己找方法去实现automl。在自己调参时一定要做好记录，这样才能总结并比对不同参数的重要性和敏感度。
论文写作之实验部分
utflpc的博客
09-10 512
论文部分 4 expriments 在这个部分，我们列出了几个问题（后面的内容要回答这些问题） 自己的方法比别人的方法好吗？ 参数设置是否适合不同的数据集 运行时间是否与之前的复杂度分析一致 然后用一段话描述本文用到的数据库，同时要用列表的形式展示这些数据库。 4.1 性能比较 这里采用文字加表格（图）的方式来进行比较。 一定要采用多维度的比较。 注：但凡涉及到矩阵运算时，都是运行10次，取平均值 ±\pm± 标准差。 4.2 参数设置 一个实验中会有多个参数，这里挑最重要的两三个参数来进行描述。 每个
刷新SOTA！Salesforce提出跨模态对比学习新方法，仅需4M图像数据！ .rar
10-18
这里提到的“跨模态对比学习新方法”是他们在深度学习领域的一个创新，尤其是针对多模态信息处理的。 跨模态学习是一种让机器学习在不同模态（如图像、文本、音频）之间建立联系的技术。在传统的单模态学习中，模型...
《基于超声的深度学习模型用于降低BI-RADS 4A乳腺病变的恶性率》论文笔记 MobileNet
2401_84095018的博客
09-09 1590
MobileNet深度学习模型可以帮助降低BI-RADS 4A乳腺病变在术前超声检查中的恶性率，对临床医生在超声检查中识别可疑乳腺病变时具有重要参考价值。
学习笔记：深度学习（6）——基于深度学习的语言模型
Morganfs的博客
04-25 1883
预训练模型梳理：从NNLM到词嵌入、从ELMo到GPT&BERT，以及After GPT&BERT。
深度学习中实验、观察与思考的方法与技巧
xw555666的博客
09-13 1275
在深度学习中，实验、观察与思考是理解和改进模型性能的关键环节。以下是一些有效的方法与技巧，可以帮助你在深度学习实践中系统性地开展实验、分析结果并进行深入思考。通过这些方法，你可以在深度学习实验中有条不紊地推进，从而加深对深度学习原理的理解，并通过不断的实践、观察和思考，逐步提升模型性能和你的技术水平。
文献阅读笔记【13】：基于深度学习的激光扫描范围图像道路裂缝分类： 超参数选择的比较研究
Joke
09-14 617
Deep learning-based roadway crack classification using laser-scanned range images: A comparative study on hyperparameter selection 【基于深度学习的激光扫描范围图像道路裂缝分类： 超参数选择的比较研究
Pycharm（十九）深度学习
最新发布
higerwy的博客
05-06 1557
深度学习是机器学习中的一种特殊方法，它使用称为神经网络的复杂结构，特别是“深层”的神经网络，来学习和做出预测。深度学习特别适合处理大规模和高维度的数据，如图像、声音和文本。深度学习、机器学习和人工智能之间的关系如下图所示：深度学习⊆机器学习⊆人工智能优点：1）精度高，性能优于其他的机器学习算法，甚至在某些领域超过了人类；2）随之计算机硬件的发展，可以近似任意的非线性函数；3）近年来在学界和业界受到了热捧，有大量的框架和库可供调。缺点：1）黑箱。
论文sota对比怎么写
03-24
### 如何在学术论文中编写与最新技术水平（SOTA）的性能对比 撰写一篇高质量的科技论文时，与当前最先进的技术（State-of-the-Art, SOTA）进行性能对比是一个重要的环节。这不仅能够展示研究成果的独特价值，还能帮助读者理解新方法的优势所在。 #### 明确研究目标和意义 在描述与SOTA的对比之前，应清晰阐述研究的目标及其重要性。通过定义明确的研究问题，可以更好地引导读者关注所提出的解决方案为何优于现有方案[^1]。 #### 设计合理的实验环境 为了公平有效地比较不同模型的表现，设计科学严谨的实验至关重要。确保测试条件一致，比如使用相同的硬件配置、数据集划分方式等参数设定。对于视觉识别领域而言，在像LVIS这样的具有挑战性的数据集上评测是非常有说服力的做法之一[^3]。 #### 展现详尽的数据分析 提供详细的定量分析结果来支持结论。例如，当评估DetCLIPv3相对于其他先进算法如OWL-ST [43] 的表现差异时，可以通过计算各类指标如AP (Average Precision)，并在表格形式下直观呈现出来。此外还应该讨论这些数值背后的意义——即为什么某些特定条件下本方法能取得更好效果？是否存在局限性？ #### 综合考量多维度评价标准 除了传统意义上的准确性之外，还可以考虑加入更多元化的评判角度，如效率、鲁棒性等方面。正如Nova模型被从质量、多样性及新颖性三个层面进行全面衡量那样[^4]，这样可以使文章更加丰满立体。 #### 结果解释与未来展望 最后不要忘记深入剖析所得出的结果，并对未来可能的发展方向给出建议或预测。如果发现自己的方法虽然总体优异但在个别场景下稍逊一筹，则需诚实地指出这一点并探讨潜在改进措施。 ```python def compare_with_sota(new_model_results, sota_models_results): """ Compare new model's performance against state of the art models. Args: new_model_results (dict): Dictionary containing metrics and their values for the new model. sota_models_results (list): List where each element is a dictionary representing one SOTA model with its metric scores. Returns: str: Summary string highlighting key differences between new model and existing SOAs. """ summary = "" # Iterate through all provided SOTA models to generate comparison details for idx, sota_result in enumerate(sota_models_results): current_comparison = f"\nComparison vs Model {idx+1}:\n" # Assuming both dictionaries have same keys corresponding to evaluation criteria for criterion in new_model_results.keys(): diff_value = abs(new_model_results[criterion] - sota_result.get(criterion, 0)) if new_model_results[criterion] > sota_result.get(criterion, 0): direction = "better than" elif new_model_results[criterion] < sota_result.get(criterion, 0): direction = "worse than" else: direction = "equal to" current_comparison += f"{criterion}: New Model ({new_model_results[criterion]}%) is {direction} SOTA({sota_result.get(criterion, 'N/A')}%)\n" summary += current_comparison return summary ``` 上述Python函数`compare_with_sota`展示了如何自动化生成针对多个SOTA模型的具体对比说明文本。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

周末睡懒觉zzz

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值