![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Datawhale组队学习学习笔记
文章平均质量分 94
以Datawhale组队学习的学习资源为教材,整理个人的学习笔记与心得体会
TheJustice_
这个作者很懒,什么都没留下…
展开
-
DeepSeek-7B-chat 4bits量化 Qlora 微调
模型量化是将高精度的浮点数表示转换为低精度表示(如4bits),以减少模型的存储和计算资源。量化可以显著降低模型的内存占用和计算复杂度,同时保持较高的推理性能。Qlora(Quantized Low-Rank Adapter)是一种优化微调技术,适用于量化后的模型。通过低秩近似和适应层的结合,Qlora在微调阶段保持高效,并在不显著增加计算成本的情况下提高模型性能。环境配置task_type:模型类型:需要训练的模型层的名字,主要就是attention。原创 2024-06-08 14:31:19 · 1089 阅读 · 0 评论 -
Tiny Universe - Tiny Eval 学习笔记
对于DW5月组队学习的最后一篇学习笔记,基于大模型评测的方法进行讲解原创 2024-05-28 20:09:16 · 1863 阅读 · 0 评论 -
Tiny-universe Tniy Agent 学习笔记
Agent是一个具备自主性、反应性、积极性和社交能力特征的智能体,它能够感知环境并做出决策以执行任务。在人工智能领域,尤其是在大型语言模型的背景下,Agent被设计为可以模仿人类的方式,从计划、组织、执行到学习等过程,最终完成一个任务。Agent的基本定义概念理解:Agent通常被视为一个具备自主智能的实体,它可以在给定的能力范围内自主地发现问题、设定目标、构思策略、挑选方案、执行任务并进行检查更新。这种自主性和动态响应能力是Agent区别于传统软件或机械的关键特征。拟主体性。原创 2024-05-25 00:05:26 · 977 阅读 · 0 评论 -
Tiny Universe - Qwen2架构 学习笔记
本文为Datawhale5月组队学习从零手搓大模型实战的第一章学习笔记,感谢DW的开源贡献原创 2024-05-16 21:40:01 · 1195 阅读 · 1 评论 -
Tiny Universe - TinyRAG 学习笔记
Datawhale5月组队学习学习笔记第二期原创 2024-05-20 20:24:46 · 1322 阅读 · 0 评论