ai训练总结

最新推荐文章于 2024-08-07 11:00:00 发布
最新推荐文章于 2024-08-07 11:00:00 发布
阅读量493 收藏 7
点赞数 8
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29707567/article/details/135464306
版权
本文探讨了在使用batchsize算法时，观察loss值的变化趋势来评估模型收敛情况，强调了pretrain和finetune阶段的区别，指出pretrain阶段精度较低但全参数参与，而finetune阶段收敛到1.7~1.8，部分参数被利用。
摘要由CSDN通过智能技术生成

batchsize算法：4*1*8卡
    loss：收敛越来越小
    精度如何看
        没有精度值，看loss值，越来越小，收敛到一定规模（pretrain 0.00x，finetune收敛到1.7~1.8
    pretrain和finetune的区别
            参数规模：pretrain全参数量一起训练、lora是使用一部分参数来训练

qq_29707567
关注
关于Pretrain、Fine-tuning、train
qq_38148600的博客
12-07 3131
[转载]关于Pretrain、Fine-tuning - 别再闹了 - 博客园这两种tricks的意思其实就是字面意思，pre-train(预训练)和fine -tuning(微调)关于为什么可以直接使用别人的模型：这位博主写了几种fine-tuning的方法：这位答主在这篇中给出了一个关于fine-tuning非常practical的例子:fine-tuning:利用已有模型训练其他数据集 - 知乎
预训练模型MT-BERT的探索和应用
朝闻道
01-22 998
预训练模型MT-BERT的探索和应用 提纲 预训练背景和现状 MT-BERT 核心能力建设 MT-BERT 业务落地 MT-BERT 总结 预训练背景和现状 NLP预训练发展 预训练进化方向 预训练模型多元化发展 预训练进化方向（续） 主流大规模模型 应用案例：Google搜索使用BERT 工业界动态 业界主流公司的搜索及NLP场景都陆续使用BERT或类似的预训练模型 MT-BERT MT-BERT 定位 MT-BERT是针对搜索场景打造的BERT模型，为语义理解任务提供平台级解决方案 MT
Pretrain-finetune、Prompting、Instruct-tuning训练方法的区别
weixin_43575791的博客
03-14 1740
大模型LLM相关面试题整理-训练集-训练经验-微调
weixin_36378508的博客
10-17 3453
综上所述，全参数微调所需的显存量取决于模型的大小、批量大小、训练数据的维度以及训练设备的显存限制。在进行全参数微调之前，建议先评估所需的显存量，并确保训练设备具备足够的显存来支持训练过程。13b的占用大约50G内存，在64G内存上，i9 12900h运行缓慢7b的占用约26G内存，在64G内存上，i9 12900h运行、响应速度还可以，全参数finetune至少需要4倍的数据。
如何更好地继续预训练（Continue PreTraining）
zenRRan的博客
09-11 2635
来自：NLP工作站进NLP群—>加入NLP交流群写在前面预训练（Pretraining）是一个非常消耗资源的工作，尤其在 LLM 时代。随着LLama2的开源，越来越多人都开始尝试在这个强大的英文基座模型上进行中文增强。但，我们如何才能保证模型在既学到「中文知识」的情况下，又不丢掉原有的「英文知识」呢？今天给大家带来一篇 Continue Pretraining 的论文（来自何枝大佬，知乎@...
《人工智能》--python 人工智能训练代码.zip
03-19
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
midi 格式钢琴曲 可以用来做人工智能作曲训练数据集
03-22
总结起来，MIDI格式的钢琴曲为人工智能作曲提供了丰富的训练素材，而数据仓库的构建则为高效利用这些数据提供了基础设施。通过合理的数据处理和强大的机器学习模型，我们可以期待人工智能在音乐创作领域的表现越来越...
人工智能训练平台.pdf
02-27
总结来说，人工智能训练平台通过其强大的功能特性，为深度学习研究和应用提供了高效、灵活的运行环境，降低了运维难度，提升了开发效率，同时保证了高性能计算的需求。无论是对于研究者还是企业，这样的平台都是推动...
人工智能期末大作业大合集+人工智能结课作业大合集.zip
06-10
人工智能期末大作业大合集+课程设计+结课作业大合集。根据作业要求，每个算法都有相应的算法介绍、实验代码、实验结果、实验总结。全部使用Python实现。 人工智能作业大合集总共分为三大部分，每部分由几个相关算法...
人工智能心得总结 人工智能心得体会3篇.pdf
05-29
《人工智能心得总结》 人工智能（Artificial Intelligence, AI）是一门综合性的学科，涉及众多研究领域，旨在构建能够模拟人类智能的系统。自然语言处理、自动定理证明、机器学习、专家系统、机器人学等都是AI的...
大模型算法岗面试题系列（二十四）| 领域模型Continue PreTrain，如何让模型在预训练过程中就学习到更多的知识?
最新发布
Code1994的博客
08-07 812
在大型模型的领域模型继续预训练（Continue PreTrain）过程中，让模型学习到更多的知识是一个系统化的过程，涉及到数据的选择、训练策略的优化以及模型架构的调整。
大模型算法岗面试题系列（二十一）| 什么是领域模型Continue PreTrain数据选取?
Code1994的博客
08-06 561
领域模型的继续预训练（Continue PreTrain）数据选取是指在已有的大型预训练模型基础上，针对特定的应用领域，选择和准备数据集以进一步训练和优化模型，使其更好地适应该领域的特定需求和特征。通过这些方法，可以确保领域模型的继续预训练数据选取过程既科学又系统，从而提高模型在特定领域的性能和可靠性。
[AI医学] 医学领域几个微调&预训练大模型的项目
chenyang2203的博客
05-15 6768
一是对海量领域数据继续进行生成式语言模型预训练（continue pretrain）；二是在通用大模型的基础上引入领域数据进行指令微调训练（通用大模型底座+领域数据指令微调）；生成式语言模型继续预训练对数据量和计算资源的要求较高，目前大部分项目的工作多是集中在对通用模型进行领域数据指令微调训练。在指令微调训练方面，差异性的工作主要表现在「领域样本数据的生成」（如各种self-instruct生成样本）和「低资源训练」上（如各种PEFT方法进行部分参数的微调）。医学领域大模型建设是有其必要性的。
LLM Continue Pretrain（2024版）
人工智能曾小健
07-11 903
deepseek的开源moe，也做得非常不错，应该是国内开源top了，他们的pretrain团队做得挺棒的 但算法为主的，做pretrain，往往就是洗数据了。尴尬的点是，预训练洗数据，因为数据量大，往往都是搞各种小模型+规则，很难说明你做的事情的技术含量，只能体现你对数据的认知很好。语言类的domain和long context的数据更难学习，前者是因为语言的gap导致初始loss偏高，但随着不断的训练，loss会稳定下降，但遗忘程度高，最优配比高，后者对资源的消耗更高，遗忘程度高，最优配比高。
情感计算在ugc应用进展
淘系技术
05-07 1788
观点、情感以及与之相关的许多概念，如评价、态度、感情和心情，与我们主观的感觉和感受密切相关。我们对于现实世界的感知和感受，包括我们做出的任何选择，也很大程度上受到他人对于当前世界的洞察和观...
有关神经网络模型训练过程中loss值始终变化不大的问题
代码的女朋友的博客
03-02 9480
最近在训练一个神经网络模型，遇到了loss值始终不变的问题。 简要说一下，我训练的是一个分类器，是一个最后分类数为6的多元分类问题，但模型在训练多个轮次后准确度仍然在16.67%左右，loss值基本没有怎么变化，也就是说，我的模型参数并没有怎么变化，相当于没有在学习。 在网上查了各种资料后，我尝试了以下几种方法： 1.加大训练轮次 起初，我以为是我的模型训练轮次太少，但发现加大训练轮次后并没有效果，该方法对我的模型不适用 2.增大学习率 最开始我的模型优化器为Adam，学习率设置为1e-3，我认
AI上推荐 之 多任务loss优化(自适应权重篇)
热门推荐
Miracle8070
04-28 1万+
1. 写在前面 在多任务学习中，往往会将多个相关的任务放在一起来学习。例如在推荐系统中，排序模型同时预估候选的点击率和浏览时间。相对于单任务学习，多任务学习有以下优势： 多个任务共享一个模型，占用内存量减少； 多个任务一次前向计算得出结果，推理速度增加； 关联任务通过共享信息，相互补充，可以提升彼此的表现。 前面的一篇文章，主要是从模型结构的角度聊了下多任务学习，介绍了工业界非常经典也常用的MMOE模型，然而，对于多任务学习， Loss的优化也非常重要， 因为我们知道通过多个目标去指导网络进行统一的训练
【AI助力科研】loss曲线傻瓜式绘制
weixin_43543177的博客
03-23 9204
【AI助力科研】loss曲线傻瓜式绘制前言一、已具备的loss曲线图二、AI助力1.为图像建立矩形遮板2.绘制趋势曲线 前言 俗话说，一图胜千言，在一篇文章里，图是最吸引人的，画得好便会如虎添翼，让读者对文章主要方法的理解更加容易。今日分享和记录一下绘制损失(loss)函数图时发现的一个事后补救、锦上添花的小小小小~小技巧。看一下成品： 一、已具备的loss曲线图 之前通过python的matplotlib或者plotly绘制好部分的loss曲线图如下（肯定是部分图啊，这么单调怎可单独成图？），且不说
Pre-train 与 Fine-tuning
tkzc_csk的博客
03-05 2147
Pre-train的model:就是指之前被训练好的Model, 比如很大很耗时间的model, 你又不想从头training一遍。这时候可以直接download别人训练好的model， 里面保存的都是每一层的parameter配置情况。(Caffe里对于ImageNet的一个model, 我记得是200+M的model大小)。你有了这样的model之后，可以直接拿来做testing, 前提是你的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值