大模型学习

已于 2024-07-01 15:39:31 修改
阅读量386 收藏 10
点赞数 3
分类专栏： 大模型学习 文章标签： llama
于 2024-06-20 22:25:13 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44021553/article/details/139823906
版权

大模型

Llama-factory平台使用lora微调Qwen

github地址：https://github.com/hiyouga/LLaMA-Factory

1. 配置环境

在阿里云服务器上配置，镜像不要包含TensorFlow，且满足github上的环境要求就行

2. 在阿里云平台上下载llama-factory的git clone代码

3. 下载千问大模型Qwen1.5-0.5b，放到llama-factory项目代码下面

记录放代码的路径

4. 训练自己的数据集

在这里插入图片描述

4.1 模仿dataset_info.json中的其他数据集格式，添加自己的数据集

4.2 写一个自己的数据集json文件

4.3 训练需要修改的yaml文件

调epoch，数据集，模型等等
在这里插入图片描述

QLore

B站up讲解

NF4是一种数据类型（具体怎么表示的，没学会）

是专门对符合正态分布的数据做量化用的
也就是，把数据换个更节省空间的方式储存起来，就叫量化，用的时候再
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

迁 凉
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
什么是大模型
weixin_44976692的博客
02-06 2万+
大模型（Big Model）是指在机器学习和人工智能领域中处理大规模数据和复杂模型的一种方法或技术。随着数据量的不断增加和模型的复杂度提高，传统的机器学习方法已经无法有效处理，因此大模型成为了解决这一挑战的重要工具之一。本文将介绍大模型的基本概念、应用场景以及一些常见的大模型技术。大模型是指在处理大规模数据和复杂模型时所采用的一种模型和算法。大模型通常需要处理海量的数据，这些数据可能来自于互联网、传感器、日志文件等各种来源。
大模型实战—通义千问大模型微调
热门推荐
05-26 4万+
这个参数仅针对 llama 类型的模型结构，默认勾选的是 q_proj 和 v_proj，具体的名词不容易理解，我就不多说了，可以简单的认为是对模型的理解能力进行优化，一般这两个就够了。当这个值较高时，适应新任务的能力会增强，但是对基础模型的影响会比较大，有过拟合的风险，尤其是在数据量有限的情况下。为了方便测试，我在云环境也创建了一个镜像，相关的环境都配置好了，可以直接使用几个国内开源的大语言模型，比如清华智谱的ChatGLM3-6B、零一万物的Yi-34B，还有最近阿里云开源的Qwen1.5-32B。
AI大模型学习
想你依然心痛的博客
03-29 1万+
随着人工智能技术的快速发展，AI大模型学习正成为一项备受关注的研究领域。为了提高模型的准确性和效率，研究者们需要具备深厚的数学基础和编程能力，并对特定领域的业务场景有深入的了解。通过不断优化模型结构和算法，AI大模型学习正为人类的生活和工作带来更多便利。在当前技术环境下，AI大模型学习正在不断发展，为人工智能技术的应用赋予更高的智能水平，推动社会进步和创新。
深度学习大模型学习100tips
xw555666的博客
11-07 1万+
通过深入了解这些细节，并在实际项目中应用相关的知识，将能够更好地理解和利用大模型的潜力，不仅在学术研究中，也在工程实践中。通过不断探索新方法、参与项目和保持热情，并将其应用于各种领域，从自然语言处理到计算机视觉和自动驾驶。通过不断学习、实践和探索，可以不断提升自己在深度学习领域的技能和洞察力，同时也能为社会和行业带来创新和改进。从小规模的项目和模型开始，逐渐迭代和扩展到更大的模型，逐步积累经验，最终能够处理大模型和复杂任务。分享您的研究成果和代码，以获得反馈和建立声誉。
大模型学习 -- CLIP
qq_30921029的博客
06-02 6261
这样做的好处是减小了sequence的长度，也就减少了计算量，训练速度更快；CLIP的双塔结构分别提取图像和文本的全局特征做对比学习，缺少局部信息的交互，FILIP增加了image tokens和text tokens的细粒度交互。最后，为了减少分布上的gap(训练mask测试一版不mask)，FLIP会在最后增加少量的unmasking训练，可以进一步提升模型的性能。一种简单高效的CLIP加速训练方法，只需mask掉部分图像，就可以将CLIP的训练过程加速2~3倍，而且能实现更好的性能。
大语言模型(LLM)入门学习路线图
weixin_36751401的博客
02-28 6519
Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
机器学习大模型驱动：未来的趋势与应用
屿小夏.的知识博客
05-26 3万+
在过去的几年里，机器学习大模型（Large Models）成为了人工智能领域最热门的话题之一。这些大模型通过大规模数据训练，展现出前所未有的能力，推动了自然语言处理、计算机视觉等领域的飞速发展。本文将详细探讨机器学习大模型的基本概念、技术实现、应用场景以及未来的发展趋势。机器学习大模型，通常指的是包含数十亿甚至上千亿参数的深度学习模型。与传统的小规模模型相比，大模型通过大规模数据和计算资源进行训练，能够更好地捕捉复杂的数据模式和特征。
AI大模型知识点大梳理
yang1fei2的博客
06-12 1万+
AI大模型是指具有巨大参数量的深度学习模型，通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力，从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。AI大模型的定义具体可以根据参数规模来分类
大模型学习篇(一)：初识大模型
看，好自为之的博客！！！
01-15 3215
初识大模型，了解什么是语言模型，以及大模型和小模型的区别。
科普初步了解大模型
张彦峰的博客
09-06 2万+
科普初步了解大模型
2023最新AI大模型学习与讨论
01-17
《2023最新AI大模型学习与讨论》 AI大模型的学习与讨论，是对当前人工智能领域最前沿技术的一次深度探索。随着2023年的到来，AI领域正在经历一场革命性的变化，大模型技术成为了这场变革的核心。大模型，特别是大...
AI大模型学习资料与知识点
09-12
AI大模型，以其庞大的参数量，如数十亿甚至数万亿个参数，通过学习海量数据来增强预测能力，展现出卓越的性能。OpenAI的分类将AI模型分为四种类型，大型和极大型模型正是AI大模型的代表，它们在提升预测精度、泛化...
ai大模型学习和实践.zip
09-04
《AI大模型学习与实践》 在当今科技飞速发展的时代，人工智能（AI）已经渗透到各个领域，其中AI大模型作为技术的核心部分，扮演着至关重要的角色。本资料包"ai大模型学习和实践.zip"是专为对AI大模型感兴趣的学习者...
AI大模型学习资料总结探究
09-12
AI大模型是指具有巨大参数量的深度学习模型，通常包含数十亿甚至数万亿个参数。这些模型可以通过学习大量的数据来提高预测能力，从而在自然语言处理、计算机视觉、自主驾驶等领域取得重要突破。根据OpenAI的分类方法...
The Llama 3 Herd of Models.Llama 3 模型论文全文
最新发布
qq_51570094的博客
07-25 1023
Llama 3 模型论文全文，了解Llama 3的训练细节和效果
Meta发布Llama 3.1模型
2402_84466582的博客
07-24 1395
Meta在Llama 3.1模型的训练和优化过程中采用了先进的算法和技术，确保了模型不仅在规模上有所突破，同时在训练效率和资源消耗上实现了平衡。通过开源模型，Meta致力于降低人工智能技术的准入门槛，使得更多来自不同背景的研究者和开发者能够参与进来，共同推动技术进步，实现人工智能的普惠化。这一特点不仅提升了模型的性能，也为研究者和开发者提供了更多的定制化空间。Llama 3.1在超过15万亿个token的数据上进行训练，这一数据量远超先前的LLaMA模型版本，显示了Meta在数据收集和处理方面的强大能力。
Meta Llama 3.1：AI领域的新里程碑
BuluAI的博客
07-25 1466
Llama 3.1的发布不仅是Meta在AI领域的一次重大突破，也为整个AI社区带来了新的机遇和挑战。其强大的性能、开放的生态和先进的技术，无疑将推动AI技术的进一步发展和应用。
Meta 刚刚发布 Llama 3.1 ：在 AI 战斗中向 OpenAI 发起了大规模挑战｜TodayAI
TodayAI
07-24 1177
Llama 3.1，包括新的 405b 版本，可以在 MetaAI 聊天机器人中使用，但该机器人的全球发布有限。虽然 Meta 将在自己的 MetaAI 聊天机器人中使用这一模型，但它也将为其他公司提供先进的前沿智能，使其能够根据自身需求进行调整，并且无需向 OpenAI 支付每个 token 的费用。第一个是 8B，轻量且超快，可以在任何地方运行，包括智能手机上。公司声称，Llama 3.1 405b 是系列中最大的版本，能够与 OpenAI 和 Google 的模型匹敌，包括在推理和编码能力方面。
扎克伯格：Llama将成AI界的Linux
haleycat的博客
07-25 513
Meta创始人兼CEO马克·扎克伯格在博文中阐述了Llama开源AI的愿景，认为其有潜力成为AI领域的Linux。他表示，开源AI能满足不同组织的需求，提供数据保护和经济实惠的解决方案，避免被封闭供应商锁定。Meta希望Llama成为长期标准的生态系统。
"AI大模型学习笔记：GPT-3的元学习方法和情景学习特点
"AI大模型的学习笔记是一份值得研究的资源，其中包含了许多有关大模型的论文学习内容。其中，我对《AI大模型短笔记1.Language Models are Few-Shot Learners》这篇笔记的学习给我留下了深刻的印象。 这篇学习笔记...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值