![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大模型学习
文章平均质量分 84
大模型的学习路,心得笔记
晓光尘梦
这个作者很懒,什么都没留下…
展开
-
从零手搓大模型之路(一、学习Qwen模型架构)
五月,依旧是给自己挖坑,参加了DataWhale的五月自学课堂(从零手搓大模型实战)。说是从零手搓,但深知自己远远没有大佬水平,达不到研究透透的程度,所以也就是看源码了解下内部逻辑,简简单单写写心得,期望有朝一日也能成为大佬。So,今天挖的坑让明天的自己哭着来填(哭?哭也是要算时间的!。饭得一口一口吃,路得一点一点走。从零手搓大模型Qwen2逐行代码分析本博文里面图来源于课程链接。开卷开卷!(怎么感觉东西越学越多)这张图第一眼看上去确实很唬人,如果从左往右一点点耐心看,还是能看出些端倪。原创 2024-05-16 23:10:45 · 3318 阅读 · 0 评论 -
从零手搓大模型之路(二、手搓一个RAG)
第二堂是动手构建一个Tiny-RAG,也就是RAG的简化版本,只包含RAG的核心功能Retrieval和Generation。整体看完源码,并听完相应的视频讲解,内容感觉还算是很容易明白,本博文记录下自己感觉相对重要的以及一些思考(持续补充)。Tiny-RAG构建检索增强生成技术(Retrieval-Augmented Generation,RAG),它的出现主要是解决大模型的“幻觉”问题,即当询问者询问一些大模型训练数据不包含的数据(如询问一些时效性比较强的或者是专业性比较强的问题),大模型可能会。原创 2024-05-20 19:33:49 · 667 阅读 · 1 评论 -
从零手搓大模型之路(三、TinyAgent的构建)
第三堂课是关于Agent的构建,可能是之前的博文学习llama3时进行过agent的能力体验,感觉这堂课还是比较轻松。也借助这个机会,重温了一遍agent,也翻阅了一些文章,了解了下ReAct,碰巧最近本地部署了qwen-7b-int4的模型,所以本博文就记录下将教程中的大模型替换成qwen的输出样貌以及其他前面博文没提到的内容。手搓大模型ReAct论文链接一文带你了解基于大模型的AgentReAct(Reasoning and Acting,推理+行为)原创 2024-05-24 23:35:26 · 837 阅读 · 1 评论 -
从零手搓大模型之路(四、TinyEval的构建)
这是该系列最后一堂课,主要是对比评测模型的好坏程度,给模型进行打分。对于大模型来说,输出结果纷杂,也会导致评测的指标也有众多选择。本文也主要学习下相关的评测指标,先不将评测作为现阶段学习的重点。等自认为大模型的学习有一定成果后再进一步研究。手搓大模型。原创 2024-05-28 21:01:23 · 1758 阅读 · 0 评论 -
Llama3小白自学路(一、llama3部署)
24年五一期间,看到机智流举办的卷羊驼活动,碰巧也对其感兴趣,便以小白的身份报名参加卷军。这也是我第一次写自我成长学习的博客,主要也算是对这些做一个知识总结和学习过程中的理解,欢迎一起讨论研究,争取做大做强,再创辉煌。机智流Llama3超级课堂。原创 2024-05-12 16:46:50 · 329 阅读 · 1 评论 -
Llama3小白自学路(二、llama3个人助手微调)
前面是按照技术流的视频进行copy复制,后面会根据一些思考以及其他卷友的答疑进行尝试(新章节)。机智流Llama3超级课堂。原创 2024-05-12 16:47:12 · 379 阅读 · 0 评论 -
Llama3小白自学路(三、llama3图片能力微调)
前部分依旧是技术流的教程copy及相关笔记。但说实话,在复现这一部分中,遇到了很多问题,后面的QA我会把遇到的进行记录。课程背景是XTuner 团队放出了基于 Llama3-8B 的 LLaVA 模型。然后机智流带领我们基于 Llama3-8B-Instruct 和 XTuner 团队预训练好的 Image Projector 微调多模态图文理解模型 LLaVA。LLaVA模型,即文本单模型LLM和训练出来的Image Projector的组合。LLaVA构建训练阶段。原创 2024-05-12 16:47:32 · 1125 阅读 · 0 评论 -
Llama3小白自学路(四、LMDeploy部署Llama3)
显存开销大、需要缓存大量的kv、数据长度不统一(动态shape)、请求数量不固定,token逐个生成硬件设备巨大的存储开销训练推理token的加速生成、内存的有效管理利用、动态shape的处理服务系统响应时间的降低、系统吞吐量的提升是一个用于压缩、部署、服务 LLM 的工具包,由 MMRazor 和 MMDeploy 团队开发,英伟达设备上部署的全流程解决方案,其包括模型轻量化、推理和服务。高效的推理引擎、交互式推理模式、量化。主要说一下量化,因为后面主要有对量化进行课程实践。原创 2024-05-12 16:47:46 · 946 阅读 · 0 评论 -
Llama3小白自学路(五、Agent 能力体验+微调Lagent 版)
Agent,智能体,通常被认为是Open AI的下一个发展方向。笔者认为,如果将大模型比作可以根据刺激进行收缩和舒张的神经元,智能体就好比是大脑,可以自由的思考,有记忆分析逻辑推理能力,有问题解决问题的能力,没有问题就创造问题解决问题的能力。Agent-FLAN 数据集是上海人工智能实验室 InternLM 团队所推出的一个智能体微调数据集,其通过将原始的智能体微调数据以多轮对话的方式进行分解,对数据进行能力分解并平衡,以及加入负样本等方式构建了高效的智能体微调数据集,从而可以大幅提升模型的智能体能力。原创 2024-05-12 16:48:02 · 429 阅读 · 0 评论 -
Llama3小白自学路(六、OpenCompass评测Llama3)
OpenCompass是上海人工智能实验室研发的大模型开源评测体系。该体系是面向大语言模型、多模态大模型等各类模型的一站式评测平台。机智流Llama3超级课堂。原创 2024-05-12 16:48:17 · 1473 阅读 · 0 评论