- 博客(50)
- 收藏
- 关注
RSS订阅原创 【Datawhale2603】happy-llm task07 Llama2:实现关键模块
摘要 本文详细介绍了RMSNorm（Root Mean Square Layer Normalization）的核心概念及其在深度学习中的应用。相比传统LayerNorm，RMSNorm通过省略均值减法步骤，仅使用均方根进行归一化，计算效率更高且在大语言模型中表现更优。文章拆解了RMSNorm的数学公式，并提供了PyTorch实现代码，包括初始化、前向传播和测试验证三部分。测试验证了形状一致性、统计特性和梯度传播的正确性。RMSNorm通过可学习的缩放参数γ，使模型能够自适应调整数据尺度，提升训练稳定性。
2026-03-11 19:05:10
386
原创 【Datawhale2603】happy-llm task06 LLM:规模化要素和对齐
本文系统介绍了大语言模型(LLM)的核心要素与发展历程。文章首先通过思维导图展示了LLM的定义、核心能力、规模化要素等关键概念。重点阐述了LLM规模化的"铁三角"：数据(规模、质量、多样性)、算力(GPU集群、分布式训练)和架构(Transformer优化)。随后详细解析了LLM的三阶段训练流程：预训练(学习语言规律)、监督微调(指令遵循)和人类反馈强化学习(价值观对齐)。文章指出，高质量数据与算力资源是当前LLM发展的主要瓶颈，而架构创新和训练方法优化则是提升模型性能的关键。最后强调了
2026-03-10 23:07:45
416
原创 【Datawhale2603】happy-llm task04 Encoder-Decoder预训练
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考T5 的流水线是一个高度模块化、标准化的系统：输入：文本 + 前缀 → ID。Embedding：ID → 向量（无位置编码）。Encoder：双向理解 → 上下文记忆。Decoder：单向生成 + 交叉关注 → 生成表示。输出：向量 → 词表概率 → 文本。
2026-03-06 23:47:24
406
原创 【Datawhale2603】happy-llm task01 NLP基础概念
Datawhale教程地址原文：300字新闻...摘要："天问一号成功着陆火星，我国深空探测迈出新步伐"比喻：像学霸考前帮你整理3页笔记浓缩成1页重点两种方式：- 抽取式：直接选原文关键句（安全但可能不连贯）- 生成式：理解后用自己的话重写（流畅但可能出错）
2026-03-01 21:50:15
1215
原创 【Datawhale组队学习202602】Hello-Agents task06 框架应用开发实战
本文介绍了智能体框架的核心价值与主流框架对比。智能体框架通过封装通用功能、模块化设计和标准化状态管理，提升开发效率与系统可扩展性。文章对比了AutoGen（群聊协作）、AgentScope（工程化平台）、CAMEL（角色扮演）和LangGraph（流程控制）四大框架的特点，分析了各自的核心思想、技术优势及适用场景。通过框架选型，开发者可根据项目需求选择最适合的工具，从而专注于业务逻辑而非底层实现，加速智能体应用的开发进程。
2026-02-25 22:14:37
712
原创 【Datawhale组队学习202602】Easy-Vibe task05 完整项目实战
本文介绍了一款面向打工族的智能旅游APP开发过程。作者通过大模型分析上班族旅游痛点，提炼出"决策疲劳"和"无法离线"两大核心问题，并设计了两大特色功能：一键生成"躺平"旅游方案和行程"急救包"服务。文章详细展示了从需求分析到功能设计的过程，包括使用大模型生成提示词、确定技术栈(Vue+Tailwind)、设计页面布局和交互逻辑等关键环节，为开发适合上班族的便捷旅游应用提供了完整思路。
2026-02-24 16:46:26
472
原创 【Datawhale组队学习202602】Hello-Agents task05 基于低代码平台的智能体搭建
Datawhale教程地址 - Hello Agents例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2026-02-16 15:27:32
216
原创 【Datawhale组队学习202602】Easy-Vibe task04 给原型加上AI能力
Datawhale教程地址提示：以下是本篇文章正文内容，下面案例可供参考例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2026-02-16 15:26:58
208
原创 【Datawhale组队学习202602】Hello-Agents task04智能体经典范式构建
本文摘要：文章介绍了现代智能体的三种经典范式构建方法。首先讲解了ReAct范式，它通过"思考-行动-观察"循环实现动态决策；其次是Plan-and-Solve范式，强调先规划后执行；最后是Reflection范式，赋予智能体自我反思能力。文章详细展示了ReAct的实现过程，包括工具定义、提示词设计和调试技巧，并以电商客服场景为例，建议采用ReAct+Reflection组合架构，需要用户识别、订单查询等工具，同时需注意平衡公司利益与用户体验。
2026-02-16 15:21:02
1038
原创 【Datawhale组队学习202602】Hello-Agents task03 大语言模型基础
Datawhale教程地址 - Hello Agents它揭示了模型性能(通常用损失 Loss 来衡量)与模型参数量训练数据量以及计算资源之间存在着可预测的幂律关系。LND≈NcNαNDcDαDL0LND≈NNcαNDDcαDL0研究发现，在双对数坐标下，这是一条平滑直线——意味着模型的性能是可预测地、平滑的提升。资源作用过度投入的后果参数量NNN模型的脑容量：决定能记住多少模式。
2026-02-14 21:31:13
692
原创 【Datawhale组队学习202602】Easy-Vibe task02 认识AI IDE工具
本文介绍了AI编程工具的发展与应用。首先强调了思维转变：遇到问题先咨询AI，并推荐使用AI IDE工具提高开发效率。文章对比了普通IDE和AI IDE的功能差异，指出AI IDE具备智能代码生成、代码理解与优化等核心能力。同时列举了市面上主流AI IDE产品及其特点。最后通过一个中国风俄罗斯方块游戏的开发案例，展示了如何利用AI IDE快速实现复杂项目原型，并逐步完善功能。文章旨在帮助开发者适应AI编程新时代，提升开发效率。
2026-02-13 16:43:10
712
原创 【Datawhale组队学习202602】Hello-Agents task02 智能体发展史
本文探讨了智能体的演进历程，从符号主义时代的早期智能体到现代基于大语言模型的智能体。文章首先介绍了物理符号系统假说和专家系统的工作原理，分析了符号主义智能体在知识获取和灵活性方面的局限性。随后阐述了马文·明斯基的心智社会理论，以及联结主义学习范式如何通过神经网络解决符号主义的瓶颈问题。最后对比了不同时代智能体技术的差异，并通过"智能代码审查助手"的案例展示了智能体技术的演进过程。文章揭示了新一代智能体如何通过预训练-微调范式和大语言模型克服早期系统的不足，使复杂任务从"几乎不可
2026-02-11 21:26:13
817
原创 【Datawhale组队学习202602】Hello-Agents task01 初识智能体
本文介绍了智能体的基本概念、发展历程和运行原理。从传统视角出发，智能体经历了从简单反射到基于模型、目标、效用的演进，最终发展为学习型智能体。大语言模型的出现带来了新的智能体范式。文章还探讨了智能体的不同类型（反应式/规划式/混合式）和知识表示方式（符号主义/亚符号主义/神经符号主义）。通过PEAS模型分析了智能体的任务环境，并阐述了感知-思考-行动的运行机制。最后介绍了智能体作为开发工具和自主协作者的两种应用模式，以及工作流与智能体的本质差异。
2026-02-10 16:22:43
733
原创 【Datawhale组队学习202602】Easy-Vibe task01 AI时代，会说话就会编程
摘要：AI编程时代的新机遇与实践探索 本文探讨了AI编程为普通人带来的新机遇，通过具体案例展示了对话式AI在游戏开发中的应用能力。研究表明，当前AI可胜任简单内部工具、数据看板和轻量级游戏开发，46%的代码可由AI生成。文章详细演示了如何通过自然语言指令让AI生成贪吃蛇游戏，并逐步扩展功能（如文字收集、诗歌生成和图像创作）。实验表明，AI能快速实现基本功能，但在复杂系统开发中仍需人工参与架构设计。通过提示词工程，作者成功让AI生成了融合东方美学的进阶版贪吃蛇游戏，并尝试开发中国风音乐跑酷游戏，验证了AI编程
2026-02-10 08:23:35
715
原创 【Datawhale组队学习202601】Base-NLP task06 大模型训练与量化
本文介绍了大模型量化技术及其应用实践。量化通过减少数据表示位数来降低显存占用和提升推理速度，使大模型能在消费级硬件上运行。文章分析了不同精度格式（FP32、FP16/BF16、INT8、INT4）的显存占用关系，并给出通用估算公式。重点讲解了Transformers中三种主流量化方案：GPTQ（面向推理的高效量化）、AWQ（激活感知量化）和BitsAndBytes（支持微调的低精度方案）。最后以Qwen2.5模型为例，展示了量化推理的实践方法。量化技术大幅降低了运行大模型的硬件门槛，推动了AI应用的普及。
2026-01-28 21:26:16
664
原创 【Datawhale组队学习202601】Base-NLP task05 高级微调技术
Datawhale组队学习教程地址LLaMA-Factory 是一个简洁高效的大型语言模型（Large Language Model）训练与微调平台，旨在让开发者能够“零代码”地完成大模型的定制化训练。广泛的模型支持：支持业界主流的开源模型，如 LLaMA、Qwen（通义千问）、Baichuan（百川）、ChatGLM、Mistral、Yi 等。
2026-01-26 21:39:38
732
原创 【Datawhale组队学习202601】Base-NLP task04 参数高效微调
本文系统介绍了大模型时代的参数高效微调(PEFT)技术发展脉络。首先分析了传统全量微调在千亿参数大模型上面临的高成本、存储压力、灾难性遗忘等问题，以及提示词工程的局限性。随后重点阐述了PEFT的核心思想——冻结大部分预训练参数，仅调整极小部分参数来适应下游任务。详细剖析了Adapter Tuning、Prefix Tuning、Prompt Tuning和P-Tuning v2等代表性技术路线，比较了它们的优势与不足。最后引入当前最流行的LoRA方法，指出其通过低秩分解直接优化权重矩阵的创新思路。全文从技术
2026-01-24 21:18:07
653
原创 【Datawhale组队学习202601】Base-NLP task03 深入大模型架构
本文介绍了从零开始实现Llama2模型的系列教程，重点讲解了预归一化(RMSNorm)和旋转位置编码(RoPE)两个核心模块。RMSNorm通过简化归一化计算提升效率，而RoPE创新性地使用复数旋转来编码位置信息。文章通过生动的类比解释技术原理，并提供了模块化代码实现，为理解现代大语言模型架构提供了实践基础。
2026-01-20 22:12:53
774
原创 【Datawhale组队学习202601】Base-NLP task02 预训练语言模型
Datawhale组队学习教程地址, 在语言理解的深层语义方面取得了突破性进展。其核心优势在于其双向性 Bidirectional。通过Transformer 编码器中自注意力机制能够同时关注上下文的特性。BERT的设计目标是生成动态的、与上下文相关的词向量。它不仅仅是一个词向量生成工具，更是一个强大的预训练语言模型。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2026-01-17 22:42:44
831
原创 【Datawhale组队学习202601】Base-NLP task01 注意力机制与Transformer
本文介绍了Seq2Seq架构及其在序列转换任务中的应用。首先回顾了RNN和LSTM处理序列数据的局限性，引出Seq2Seq框架如何通过编码器-解码器结构解决输入输出长度不等的问题。文章详细阐述了从自编码器到Seq2Seq的演变过程，以及该架构在机器翻译、语音识别等多领域的应用。特别指出Seq2Seq存在的信息瓶颈问题，这促使了注意力机制的引入，最终发展为Transformer模型。全文展现了深度学习模型从简单序列处理到复杂跨模态转换的演进历程。
2026-01-14 22:16:55
681
原创 【DW动手学大模型应用全栈开发】 - (4)综合案例1：LLM项目的分类和原理解析
Datawhale学习地址例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2025-12-24 22:10:01
357
原创 【DW动手学大模型应用全栈开发】 - (2)大模型RAG实战
Datawhale学习地址由于RAG简单有效，它已经成为主流的大模型应用方案之一。RAG，就是通过引入外部知识，使大模型能够生成准确且符合上下文的答案，同时能够减少模型幻觉的出现。例如：以上就是今天要讲的内容，本文仅仅简单介绍了pandas的使用，而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。
2025-12-20 21:40:19
315
原创 【Datawhale组队学习202509】AI硬件与机器人大模型 task02 视觉感知与手眼协调
参考教程：03.视觉感知与手眼标定# 机器人学——（六）机器人视觉和处理机器人视觉传感器行业深度当我们希望使用视觉引导机器人去抓取物体时，需要知道三个相对位置关系，即末端执行器与机器人底座之间相对位置关系；摄像头与末端执行器之间相对位置关系，手眼标定主要解决这个问题；物体与摄像头之间的相对位置和方向；手眼标定主要解决其中第二个问题，即确定“手”与安装在其上“眼”之间的空间变换关系，即求解相机坐标系和机器人坐标系之间的变换矩阵。这里的机器人末端执行器称为手，摄像头称为眼。
2025-09-22 16:58:50
1031
原创 【Datawhale组队学习202509】AI硬件与机器人大模型 task01 具身智能基础
教程地址具身智能 Embodied AI，指的是能够通过物理身体(如机器人、自动驾驶汽车等)在真实世界中进行感知、交互和学习的智能系统。它强调智能体必须拥有一个身体 body，并通过这个身体与环境互动，从而获得对世界更深层次、更符合物理规律的理解。具身智能 = 智能的大脑 + 行动的身体但这一切不仅仅是给AI装上轮子和手臂这么简单，这背后是深刻的哲学与技术变革。通用认为，真正的智能是在与环境的持续互动和反馈中涌现的，而非凭空产生。就像婴儿，通过抓握、爬行、摔倒和探索来认识世界。
2025-09-18 21:40:17
315
原创 【Datawhale组队学习202506】YOLO-Master task04 YOLO典型网络模块
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员本章学习资料拆解介绍一些YOLO中的典型网络模块。
2025-06-24 21:29:02
1174
原创 【Datawhale组队学习202506】YOLO-Master task03 IOU总结
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员本章学习资料分段介绍YOLO的框架和基本原理。
2025-06-22 22:30:29
1092
原创 【Datawhale组队学习202506】零基础学爬虫 02 数据解析与提取
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员零基础网络爬虫技术紧接上文，通常我们只需要整个网页的一部分内容，这就涉及到了数据提取。常见有 3 种方式：rebs4xpath尝试使用3种解析方法解析网页源代码。
2025-06-21 21:39:42
579
原创 【Datawhale组队学习202506】YOLO-Master task02 YOLO系列发展线
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员本章学习资料： https://sxwqtaijh4.feishu.cn/docx/Yc40ddMGIo7nOyxSXVZc6KztnYd!yolo系列发展时间线，图片来源YOLO(You Only Look Once）是一种流行的物体检测和图像分割模型，由华盛顿大学的约瑟夫-雷德蒙（Joseph Redmon）和阿里-法哈迪（Ali Farhadi）开发。
2025-06-20 22:12:42
1042
原创 【Datawhale组队学习202506】零基础学爬虫 01 初始爬虫
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员零基础网络爬虫技术Python爬虫的入门介绍。
2025-06-18 16:51:07
1065
原创 【Datawhale组队学习202506】YOLO-Master task01 导学课程
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员本章学习资料： https://wvet00aj34c.feishu.cn/docx/U7YndF6zOo9Oi0xywBxcDvl7nNeYOLO Master主要对YOLO系列模型进行介绍，包括各版本模型的结构，进行的创新、优化、改进等。
2025-06-17 21:22:43
331
原创 Datawhale组队学习 - 202505 - PyPOTS - Task03下游任务的两阶段处理
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员Datawhale 组队学习PyPOTS组队学习教程学习应用两阶段方法处理时序数据。
2025-05-17 22:19:27
203
原创 Datawhale组队学习 - 202505 - PyPOTS - Task01时序数据与PyPOTS
Datawhale是一个专注于AI与数据科学的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员Datawhale 组队学习PyPOTS组队学习教程PyPOTS 是一个专为处理部分观测时间序列（Partially-Observed Time Series, 简称 POTS）而设计的开源 Python 工具箱。初步了解时间序列数据和PyPOTS。
2025-05-13 13:59:58
892
原创 Datawhale X 李宏毅苹果书AI夏令营 - 第三章：深度学习基础
![[Pasted image 20240506160317.png]]![[Pasted image 20240506160520.png]]损失函数 L(θ)L(θ)L(θ) 在 θ′θ ′θ′ 附近可近似为上式，上式跟梯度和海森矩阵有关，梯度就是一次微分，海森矩阵里面有二次微分的项。在临界点，梯度 ggg 为零，因此 (θ−θ′)Tg(\theta - \theta')^Tg(θ−θ′)Tg 为零。所以在临界点的附近，损失函数可被近似为 L(θ)≈L(θ′)+12(θ−θ′)TH(θ−θ′)L(\th
2024-08-27 21:50:25
908
1
原创 动手学大模型应用开发第五章：系统评估与优化
本文内容来自 https://datawhalechina.github.io/llm-universe本章节学习到了大模型的评估方法：人工评估、自动评估、大模型评估以及将以上组合起来的混合评估。评估之后就是优化，RAG可以被优化的就是两个部分：检索和生成。
2024-06-28 22:29:04
1130
原创 动手学大模型应用开发第二章：使用 LLM API 开发应用
本文内容来自 https://datawhalechina.github.io/llm-universe。
2024-06-22 21:40:26
945
原创 【打卡】Coggle 30 Days of ML（24年5月）：对话意图识别
本月竞赛学习将以对话意图识别展开，意图识别是指分析用户的核心需求，错误的识别几乎可以确定找不到能满足用户需求的内容，导致产生非常差的用户体验。在对话过程中要准确理解对方所想表达的意思，这是具有很大挑战性的任务。在本次学习中我们将学习：- 自然语言处理基础- 文本分类路线：正则表达式、TFIDF、FastText、BERT、T5、Prompt、GPT- 大模型分类路线：提示词、思维链、高效微调。
2024-05-31 21:49:12
1077
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人