大模型学习与实践笔记（一）

已于 2024-01-26 10:52:07 修改
阅读量389 收藏 6
点赞数 9
文章标签： llama AIGC chatgpt langchain 人工智能 深度学习
于 2024-01-07 14:05:36 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunshine_youngforyou/article/details/135439124
版权
领导要求调研大模型，作者发现OpenMMLab贡献者分享的上海人工智能实验室的‘书生·浦语大模型实战营’课程，适合补充基础知识。
摘要由CSDN通过智能技术生成

最近领导要求调研大模型，需要补充大模型相关的基础知识，正好在openmmlab贡献者交流群里看到闻星大佬发布的一个上海人工智能实验室的一个课程，觉得正好合适。

课程链接如下：书生·浦语大模型实战营

以下是课程笔记：

AllYoung_362
关注
  • 9
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习理论与实践——课程笔记（一）
satisfiedmin的博客
11-06 3238
目录 课程前言 什么是人工智能？ 什么是机器学习？ 什么是深度学习？ 什么是计算机视觉？ 什么是自然语言处理？ 课程前言 什么是人工智能？ Artificial Intelligence: also called machine intelligence, means any device that percieves its environment and takes actions that maxmize its chance of successfully achieving i.
AI大模型学习笔记一.zip
09-01
"ai大模型学习笔记.docx"和"ai大模型学习笔记一.pdf"这两份文档可能详细阐述了以上内容，包括模型的理论基础、训练策略、实践案例以及最新研究进展。通过阅读这些笔记，你可以深入了解AI大模型的工作原理，掌握其在...
基于昇思MindSpore Transformers的书生·浦语大模型全流程开发课程预告
Kenji_Shinji的博客
07-03 259
目前昇思大模型套件MindSpore Transformers已经集成书生·浦语大模型（InternLM），在本期课程中，我们有幸邀请到了书生.浦语社区技术运营、技术布道师闻星老师，以及昇思MindSpore技术布道师耿力老师，来详细解读书生.浦语大模型开源全链路工具链，演示如何对书生.浦语进行微调、推理以及智能体开发实操。书生.浦语是一个面向全社会提供免费商用授权的大模型，在能力优秀的基础上，全部开源的特点能够为开发者提供灵活自由的开发空间。昇思MindSpore技术公开课大模型专题第二季课程火爆来袭！
2024-03-26 AIGC-大模型学习路线
技术之路
03-26 2419
熟悉主流LLM（Llama, ChatGLM, Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验 较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验 掌握TensorRT-LLM、vLLM等主流推理加速框架，熟悉模型量化、FlashAttention等推理加速技术方案，对分布式训练DeepSpeed框架有实战经验 熟悉Pytorch，具备扎实的深度学习和机器学习基础，对C/C++、Cuda、计算机系统有一定
大模型学习之书生·浦语大模型笔记汇总
uncle_ll的博客
01-30 662
笔记汇总
深度学习大模型学习100tips
热门推荐
xw555666的博客
11-07 1万+
通过深入了解这些细节，并在实际项目中应用相关的知识，将能够更好地理解和利用大模型的潜力，不仅在学术研究中，也在工程实践中。通过不断探索新方法、参与项目和保持热情，并将其应用于各种领域，从自然语言处理到计算机视觉和自动驾驶。通过不断学习、实践和探索，可以不断提升自己在深度学习领域的技能和洞察力，同时也能为社会和行业带来创新和改进。从小规模的项目和模型开始，逐渐迭代和扩展到更大的模型，逐步积累经验，最终能够处理大模型和复杂任务。分享您的研究成果和代码，以获得反馈和建立声誉。
一口气了解大模型相关通识，基础笔记！
qq_18466193的博客
08-14 3611
，特指部分参数的微调方法，这种方法算力功耗比更高，也是目前最为常见的微调方法;除此之外，Fine-Tuning也可以代指全部微调方法，同时OpenAI中模型微调API的名称也是需要注意的是，OpenAI提供的在线微调方法也是一种高效微调方法，并不Fine-Tuning,是全量微调;微调， Fine-Tuning，一般指全参数的微调 (全量微调) ，指是一类较早诞生的微调方法，全参数微调需要消耗大量的算力，实际使用起来并不方便，因此不久之后又诞生了只围绕部分参数进行微调的高效微调方法;
【 书生·浦语大模型实战营】学习笔记（一）：全链路开源体系介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
03-31 1614
本文为实战营第一次课程笔记，主要分为两个部分，第一部分从书生·浦语大模型发展、分类、组成进行详细介绍，方便大家理解。第二部分为对 InternLM2技术报告解读，后续系列会继续更新，欢迎大家交流！
AI大模型学习之白话笔记（六）-- RAG
Langchain的博客
05-24 1930
在人工智能领域，我们广泛使用大规模语言模型来处理自然语言理解和生成任务。这些模型像GPT-3和BERT这样的深度学习模型需要大量数据训练，以便他们能够理解和生成文本。
大语言模型(LLM)入门学习路线图
weixin_36751401的博客
02-28 6265
Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
大模型系列｜垂直大模型的几种训练策略（一）
素质云笔记
08-03 1万+
垂直行业大模型的几种训练策略
机器学习实践笔记与代码.zip
04-16
机器学习 (Machine Learning) 是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数，并最终对数据进行预测和分析的一门学科。 机器学习的用途 机器学习是一种通用的数据处理技术，其包含了大量...
ai大模型学习和实践学习笔记：Transformer 模型和注意力机制的关系
09-01
Transformer模型引入了自注意力机制（self-attention），它允许模型在序列中的每个位置同时计算其与其他位置的相关性。通过自注意力机制，Transformer模型能够在不同层次上捕捉输入序列中的重要关系。
AI大模型学习笔记二.zip
09-01
在本压缩包“AI大模型学习笔记二.zip”中，包含两...通过阅读“AI大模型学习笔记”和“AI大模型学习笔记二”，读者可以深入理解大模型的核心原理、训练方法、应用场景及未来趋势，为自己的AI研究或实践提供宝贵的指导。
AI大模型学习笔记三.zip
09-01
通过阅读《AI大模型学习笔记》和《AI大模型学习笔记三》这两份文档，读者将能够深入理解大模型的全貌，从理论到实践，从基础到进阶，全面掌握这一领域的核心知识。在实践中，不断探索和优化，将使你在这个快速发展的...
llama 2 改进之 RMSNorm
weixin_55982578的博客
07-18 962
通过激活函数后，其中，随着前一层的更新，层的输入分布会发生变化。论文假设LayerNorm中的重新居中不变性是可有可无的，并提出了均方根层归一化(RMSNorm)。RMSNorm根据均方根(RMS)将一层神经元的总和输入正则化，得到模型重新缩放不变性特性和隐式学习率适应能力。在本文中，假设重新缩放不变性是LayerNorm成功的原因，而不是重新定中心不变性。是增益参数，用于重新调整标准化求和输入的大小，一开始设置为 1。分别是根据原始求和输入估计的均值和方差统计量。的归一化替代值用于层激活。
AI多模态实战教程：面壁智能MiniCPM-V多模态大模型问答交互、llama.cpp模型量化和推理
最新发布
AIGCmagic的博客
07-21 931
MiniCPM-V 2.0，这是MiniCPM系列的多模态版本。MiniCPM-V 2.0显示出强⼤的OCR和多模态理解能⼒，在开源模型中的OCRBench上表现出⾊，甚⾄在场景⽂本理解上可以与Gemini Pro相媲美。MiniCPM-V 系列是专为视觉-语⾔理解设计的多模态⼤型语⾔模型（MLLMs），提供⾼质量的⽂本输出，已发布4个版本。# 下载模型，以int4量化的MiniCPM-Llama3-V-2_5为例。# 前提，安装git和git-lfs【可选，如果已安装，则跳过】# 新建demo.py。
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
H66778899的博客
07-21 681
【07】LLaMA-Factory微调大模型——微调模型导出与微调参数分析
LLaMA 数据集
weixin_55982578的博客
07-18 636
多样化数据来源：涵盖从网络抓取数据到书籍、科学论文和问答网站的数据。高效预处理：通过多种预处理技术确保数据的高质量和相关性，包括语言识别、质量过滤和重复数据删除。覆盖多语言：重点涵盖使用拉丁字母和西里尔字母的多种语言，提高模型的多语言处理能力。LLaMA 2在训练设置和模型架构上大部分继承了LLaMA 1的配置，但也进行了几项重要的改进和调整。LLaMA 2在保持LLaMA 1基础架构的同时，通过增加上下文长度和引入分组查询注意力机制，进一步提升了模型的能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值