- 博客(253)
- 收藏
- 关注
RSS订阅原创 一文彻底搞懂大模型 - Fine-tuning三种微调方式
在生成式AI和大语言大模型（如GPT、LLaMA）的广泛应用中，微调（Fine-tuning）作为模型适应特定任务的关键步骤，其重要性不言而喻。以下将详细介绍三种流行的微调方式：Prompt-tuning、Prefix-tuning和LoRA，深入理解每种方法的原理、特点及应用场景。方式一：Prompt-tuning什么是Prompt-tuning？Prompt-tuning通过修改输入文本的提示（Prompt）来引导模型生成符合特定任务或情境的输出，而无需对模型的全量参数进行微调。这种方法利用了预训练语言
2024-09-13 10:21:23
1042
原创 大模型核心知识架构：基本概念解析、Prompt、RAG、Agent与多模态入门
随着大模型的迅猛发展，LLM 作为人工智能的核心力量，正以前所未有的方式重塑着我们的生活、学习和工作。无论是智能语音助手、自动驾驶汽车，还是智能决策系统，大模型都是幕后英雄，让这些看似不可思议的事情变为可能。本文将从以下5个方面介绍大模型相关内容：1. LLM基础知识3. RAG的应用4. Agent的应用5. 多模态模型1. LLM基础知识1.1 LLM基本概念从字面意思来讲，LLM 是 Large Language Model 这三个单词的首字母缩写，意为大语言模型。
2024-09-13 10:16:19
1088
原创 LLM大模型学习宝典：基础知识篇——掌握这些要点，开启你的大模型学习之旅
2023 年，随着 LLM 技术的发展，中国模型研究机构的开源模型迎来了爆发式的增长：2023 年 3 月，智谱 AI 首先在魔搭社区发布了 ChatGLM-6B 系列，ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。
2024-09-13 10:12:12
1049
原创 大厂都在用什么工具搭建内部知识库？
企业内部知识库是组织智慧与经验的宝贵仓库，它集中存储了员工的专业知识、项目案例、解决方案及最佳实践。通过高效检索与共享，知识库促进了信息流通，加速了新员工融入与学习曲线，提升了团队整体效能与创新能力。同时，它确保了关键知识的连续性与安全性，为决策制定提供了坚实的数据支持，是企业持续发展与竞争力提升不可或缺的基础设施。搭建内部知识库有多种工具可供选择，这些工具各有特色，适用于不同的场景和需求。
2024-09-13 10:10:35
667
原创 全面掌握AI大模型：从理论到实践的完整学习路线，看这篇就够了
大模型，通常指的是在人工智能领域中的大型预训练模型。你可以把它们想象成非常聪明的大脑，这些大脑通过阅读大量的文本、图片、声音等信息，学习到了世界的知识。这些大脑（模型）非常大，有的甚至有几千亿个参数，这些参数就像是大脑中的神经元，它们通过复杂的计算来理解和生成语言、图片等。举个例子，你可能听说过GPT-3，它就是一个非常著名的大模型。GPT-3可以通过理解你提出的问题，然后给出回答，或者根据你给它的提示，生成一篇文章、一个故事，甚至是一段代码。
2024-09-12 12:09:23
1341
原创 【大模型实战】Lora微调在金融场景中的应用与技巧解析
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。这里进行lora微调的效果是比官方的p-tuning v2效果好的，并且没有出现严重的知识遗忘特点，比如问题你是谁，他能回答自己是chatglm blabla。如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，
2024-09-12 12:07:50
858
原创 【AI大模型算法工程师求职攻略】—— 解锁高薪职位路径与转行成功秘诀
从ChatGPT到新近的GPT-4，GPT模型的发展表明，AI正在向着“类⼈化”⽅向迅速发展。GPT-4具备深度阅读和识图能⼒，能够出⾊地通过专业考试并完成复杂指令，向⼈类引以为傲的“创造⼒”发起挑战。现有的就业结构即将发⽣重⼤变化，社会⽣产⼒的快速提升将催⽣新的⾏业和岗位机会。如何与⼈⼯智能协同⼯作，利⽤AI辅助办公已经成为各⾏从业者的必修课。脉脉创始⼈兼CEO林凡认为，从“⼈⼯智障”向“⼈⼯智能”的进化节点，。
2024-09-12 12:06:25
1167
原创 转行风口上的大模型开发，能不能挽救我的职业生涯？
大模型算是当之无愧最火的一个方向了，算是新时代的风口。有小伙伴觉得，既然是新领域、新方向，那么，人才需求肯定比较大，相应的人才缺乏，竞争也会更少我们先来分析一下大模型这个领域。实际上，大模型开发也分为两类。算法工程师就是研究大模型算法，应用工程师是基于大模型做一些上层应用的开发。当然，后面这类也需要对大模型有或多或少的了解，毕竟，你做普通业务开发还得了解MySQL、Kafka、Redis等底层实现一样。要求就高了，不是说你想转行去做，就能做得了的。
2024-09-12 12:02:12
469
原创 全面解析：大模型微调从入门到精通，掌握完整流程与技巧
本次微调经验分享依据于我们参加的“第2届·百度搜索创新大赛——搜索答案组织”整个比赛过程。我们团队选择的基座模型是ChatGLM3-6B-Base模型，训练数据集为官方提供的数据集（9000条）,训练方法为LORA sft 监督微调。最终结果：score 36.12–ROUGE-L 41.03–BLEU-4 31.22,东三省排名第1名,全国最终排名为44/220。
2024-09-11 10:15:51
1130
原创 面了国内二十多家大模型岗，真的太卷了！！！
这段时间面试了很多家（共24家，9个offer，简历拒了4家，剩下是面试后拒的），也学到了超级多东西。大模型这方向真的卷，面试时好多新模型，新paper疯狂出，东西出的比我读的快。感觉比较硬核的岗位，尤其初创公司都是对好几个点都有要求的（应用，模型，框架，底层后端，硬件）。目前大多数公司还是集中在语言模型，偏研究的方向会有多模态的预训练这意思。多头注意力，频率太高了。coding轮，概念轮都考。复习的点包括：时间/空间复杂度，优化（kv-cache，MQA，GQA），手写多头代码。
2024-09-11 10:12:50
427
原创 给参加大模型秋招和实习的同学一点建议，看完这一篇就够了
首先是方向性 ，现在大模型要求的方向都逐渐精细化，各大小厂要求的岗位也越加垂直。不再局限于CV,NLP,搜广推。比如CV方向，AIGC大模型相关的岗位会细分为文生图，图生图，文生视频，图像/视频编辑等。NLP方向大模型相关岗位又分为语音助手，问答系统，智能搜索，Langchain,提示工程师等而对于互联网大厂的大模型，会按照工种继续细分，比如大模型算法开发，大模型平台开发，模型加速，模型训练，模型部署。因此第一点，大家在准备的时候，一定要找准适合自己的方向，精准投递，提高简历筛选通过率。
2024-09-11 10:04:20
455
原创 转行AI大模型开发：难吗？揭秘学习路径与求职攻略，助你成功转型！
转行AI大模型开发难吗？怎么学才能找到工作？这应该是所有新人都会面临的问题，所以我结合自己的经历，做了一些总结和学习方法，希望能对大家有所帮助。
2024-09-10 10:28:56
1520
原创 AI大模型时代前沿观察：前端工程师面临的机遇与挑战
AI 大模型时代为前端工程师带来了丰富的机遇，同时也带来了挑战。前端工程师需要积极适应这些变化，掌握新的技能，以抓住时代发展的红利。通过不断学习和提升技术水平，前端工程师可以在AI时代中发挥更大的作用，创造更多的价值。
2024-09-10 10:26:03
733
原创 深入解析四大LLM模型：预训练到后训练的新范式全攻略
在查看 https://arxiv.org/abs/2407.10671中讨论的预训练和后训练方法之前，我们先简要总结一些核心规格。Qwen 2 模型有5种类型。有4个常规（密集）LLM，参数量分别为5亿、15亿、70亿和720亿。此外，还有一个57亿参数的专家混合模型，其中有14亿参数同时被激活。（由于架构细节不是这次的重点，我不会深入讨论专家混合模型；简而言之，这类似于Mistral AI的Mixtral，只是它有更多的活跃专家。
2024-09-10 10:23:22
650
原创 【好书推荐】为什么程序员都要了解GPT，学会构建AI大模型？
说起 GPT-4，小异想用一个词来形容：恐怖。这个人工智能模型的强大，甚至让图灵奖获得者约书亚·本希奥（Yoshua Bengio）和特斯拉 CEO 埃隆·马斯克（Elon Musk）等人都感到恐惧。他们在一封公开信中联名呼吁所有AI实验室停止开发比GPT-4更强大的模型。就连ChatGPT的创始人萨姆·阿尔特曼（Sam Altman）也表示自己对GPT-4仍未完全理解，大模型时代，火爆出圈的ChatGPT让程序员们开始重新评估自己的本领。“AI会取代那些行业？”“谁的饭碗不保了？”等问题热议不断。
2024-09-10 10:21:13
572
原创 万字详解：如何修炼成为真正「懂」AI的产品经理？
注：随着时间推移，文章中的结论可能会发生变化。此外，本文面向的读者是非算法团队的产品经理，为了保障文章的可读性，可能会省略部分细节，同时文章重点是工程落地而非学术探讨，不具备任何辩经的价值。坦率来说 2024 年围绕大模型，产品的发展速度比之前预期的要低一些，比如在 BI 领域，Chat BI 声量很大，但落地下来效果并不好，这个也很正常，因为每个人总是会在短期内高估技术带来的价值，而在长期范围低估技术带来的价值。
2024-09-10 10:20:00
1749
原创 大模型时代开发者进阶秘籍：从新手到高手的成长路径全解析
在大模型时代，开发者面临着巨大的机遇和挑战。生成式 AI（AIGC）正日益改变着软件开发行业的方方面面，从产品研发到代码编写，从测试到维护，甚至到工作任务的安排与协调（LLM as Co-Facilitator）。
2024-09-10 10:16:42
1208
原创 AI大模型在智慧城市11个行业的应用场景
AI大模型在智慧城市11个行业的应用场景人工智能是当今科技领域最前沿的课题，更是新一轮科技革命的重要代表之一。从AlphaGo Zero通过自我学习碾压“AI前辈”AlphaGo，到百度智能无人汽车成功上路、苹果手机开启新的刷脸认证方式……而最近，一款名为ChatGPT的人工智能技术驱动的自然语言处理（NLP）工具火爆全球，自2022年11月30日上线至今，短短两个月内，ChatGPT便获得1亿月度活跃用户，成为史上增长最快的面向消费者的应用。
2024-09-09 10:48:53
2066
原创 从零开始，一步步教你构建Agent框架的完整指南
Agent的核心思想是使用语言模型来选择要采取的一系列操作。在Agent中，语言模型被用作推理引擎来确定要采取哪些操作以及按什么顺序。相比于传统机械或软件被动的“给予输入——>做出输出”的模式，Agent 由于更加强调自主的发现问题、确定目标、构想方案、选择方案、执行方案、检查更新的特性，因此可以被认为是一类拥有“自主智能的实体”，而被广泛称之为智能体。
2024-09-09 10:47:17
1089
原创 一口气了解大模型相关通识，基础笔记！
语言类大模型: GPT-3、GPT-3.5、GPT-4系列模型。并且，OpenAl在训练GPT-3的同时训练了参数不同、复杂度各不相同的A、B、C、D四项大模型 (基座模型)，用于不同场景的应用;其中，A、B、C、D模型的全称分别是ada、babbage、curie(居里)和davinci（达芬奇），四个模型并不是GPT-3的微调模型，而是独立训练的四个模型;四个模型的参数规模和复杂程度按照A-B-C-D顺序依次递增。
2024-09-09 10:45:20
1005
原创 大模型的基本功
这篇文章给大家推荐几个大模型的练手程序，也就是所谓的“基本功”。先问个问题，除了 transformer、rope、swiglu、rms_norm，大家觉着大模型的基本功都有哪些呢？flash_attention 的原理？megatron 的各种 parallel 策略？量化和推理加速技术？cuda编程？怎么说呢，这些“有技术含量的大模型的核心技术”确实很重要，但我个人还是觉着大多数人在实际工作中并不需要完全理解它们。因为它们追求的是模型性能的极限优化，对我们做个简单的 SFT、PPO 并无太大助力。
2024-09-09 10:42:10
867
原创 我为什么从Java转到AI大模型
在编程的海洋里，Java一直是我信赖的“小船”，载着我航行在代码的世界中。然而，随着行业的不断发展和变化，我开始感受到了一丝的迷茫和不安。我开始担心，随着技术的不断更新，Java这艘“小船”是否还能带我乘风破浪，继续前行。正是在这样的背景下，我接触到了AI大模型这个全新的领域。它如同一股强大的浪潮，正在席卷整个科技界。我开始关注这个领域，并尝试去了解它、学习它。通过不断的学习和实践，我逐渐发现了AI大模型的巨大潜力和广阔前景。
2024-09-09 10:37:51
1155
原创 LLaMA-Factory使用指南：快速训练专属大模型，打造定制化AI解决方案！
本文聊聊 LLama-Factory，它是一个开源框架，这里头可以找到一系列预制的组件和模板，让你不用从零开始，就能训练出自己的语言模型（微调）。不管是聊天机器人，还是文章生成器，甚至是问答系统，都能搞定。而且，LLama-Factory 还支持多种框架和数据集，这意味着你可以根据项目需求灵活选择，把精力集中在真正重要的事情上——创造价值。使用LLama-Factory，常见的就是训练LoRA模型，增强模型在某方面的生成能力。
2024-09-08 11:45:00
1259
原创 万字干货！手把手教你如何训练超大规模集群下的大语言模型
分布式训练的主要难点简单介绍一下混合并行中经典的三种并行方案。首先是数据并行，简称 DP。正如其名，数据并行是将数据分割到不同的计算设备上，然后由这些设备完成各自的计算任务。第二种是张量并行，简称 TP。张量并行是将模型中某些层的参数分散到不同的设备上，每个设备负责完成部分的计算工作。第三种是流水并行，简称 PP。流水并行是将模型的不同层切分到不同的计算设备上，类似于流水线的工作方式，各个设备协同完成整个模型的计算过程。大模型训练在超大规模集群下的挑战与解决方案。
2024-09-08 10:30:00
581
原创 为什么企业要微调大模型
在人工智能领域，模型是指通过对数据进行分析和学习，建立的一种数学结构或算法，用于预测或分类新数据。简单来说，模型是从数据中提取知识，并应用这些知识对未来进行预测的工具。其中，Y是预测值，W是权重矩阵，X是输入数据。通过训练，模型调整权重矩阵W，以最小化预测值Y与实际值之间的误差。预训练和微调是提升模型性能的两个关键步骤。微调大模型在人工智能应用中至关重要，原因包括预训练成本高、提示工程的局限性、基础模型缺乏特定领域数据、数据安全和隐私问题，以及个性化服务的需求。以下将逐一探讨这些原因。
2024-09-07 14:15:00
815
原创 快速入门：一文详解LoRA如何实现大型语言模型（LLM）的微调技巧
在快速发展的人工智能领域中，以高效和有效的方式使用大型语言模型变得越来越重要。预训练的大型语言模型通常被称为优秀的基础模型，原因在于它们在各种任务上表现出色，而大模型微调是将其适应到特定的目标任务或领域中。尽管预训练的大型语言模型在各种任务上表现出色，但它们并不是为特定任务而设计的。通过微调，我们可以根据目标任务的需求对模型进行调整，使其在该任务上的性能得到进一步提升。微调使我们能够将模型调整到目标领域和目标任务。然而，它在计算上可能非常昂贵-模型越大，更新其层的成本就越高。
2024-09-07 09:00:00
822
原创 LLM大模型入门：轻松掌握大型语言模型原理，AI学习不再难！
了解感知器和单神经元的原理是为了后续更好的了解“基于深度神经网络机器学习”的基础。我们经常所听到的大模型有几百亿几千亿的参数，这里的参数其实就是神经网络的输入权重和输出阈值的总和。我们假定一个神经元有9个输入权重，和1个输出阈值，那么就可以说该神经元有10个参数。当我们有100亿个这样的神经元时，此时就可以说我们的神经网络模型有1000亿个参数，也就是所谓的千亿级参数的大模型。是不是贼啦简单？原来各种官方一直提到的百亿，千亿参数的大模型，原来是这个意思呢。此处我们再做一点小小的延伸～
2024-09-06 11:56:24
1031
原创 大模型产品经理学习路线，2024最新，从零基础入门到精通，非常详细收藏我这一篇
随着人工智能技术的发展，尤其是大模型（Large Model）的兴起，越来越多的企业开始重视这一领域的投入。作为大模型产品经理，你需要具备一系列跨学科的知识和技能，以便有效地推动产品的开发、优化和市场化。以下是一份详细的大模型产品经理学习路线，旨在帮助你构建所需的知识体系，从零基础到精通。
2024-09-06 11:52:50
990
原创 RAG流程优化（微调）的4个基本策略
最后的提示构造涉及到将检索到的数据集成到模型的查询中。提示符中的微小变化会显著影响结果，使其成为一个反复试验的过程。在提示中提供示例可以引导模型获得更准确和相关的输出，提示词的修改不涉及代码的改变，所以这里我们就不进行演示了。
2024-09-06 11:26:26
710
原创 成为大厂算法工程师，有什么条件？如何快速拿到offer
对求职者来说，能成为一名大厂的算法工程师，无疑是职业生涯的巅峰。毕竟，互联网大不同厂工种薪资排序，大体是算法>工程>产品>运营>其他，同职级的员工，算法的薪水可能是运营人员的一倍，甚至还要高。目前，主流互联网大厂的算法岗位一般有搜索、广告、推荐（统称搜广推）算法；NLP（自然语言处理）/CV（计算机视觉）多模态识别算法；
2024-09-06 11:17:11
1764
原创 转行AI大模型开发难不难？揭秘学习路径与求职攻略，助你快速就业！
转行AI大模型开发难吗？怎么学才能找到工作？这应该是所有新人都会面临的问题，所以我结合自己的经历，做了一些总结和学习方法，希望能对大家有所帮助。
2024-09-05 10:52:51
467
原创 如果想转行AI领域却不知如何开始？可以试试这五步，超详细
我看了计算机科学家大卫·格维茨写的一篇博客，里面介绍了如果想从事AI行业，却不知道如何开始的话，可以走下面五步，从而达到转行的目的。因为这是个国外作家写的，跟我们国内的情况有一些出入，但是大思路是没有问题的。第一步：确定你当前会什么。如果你想转行的话，那么你会什么就变得很重要，转行AI行业，并不需要从零开始。格维茨拿产品经理举例子，说产品经理最擅长的就是和人打交道的能力，因为他们要在公司里“哄骗”不同部门的各种同事。并且产品经理还会有一定的写作能力，因为他们需要编写各种产品文档。
2024-09-05 10:51:24
467
原创 大模型开发转行全攻略：必备知识、技能与学习路径详解，大模型零基础入门到精通
随着人工智能和大模型（如GPT-4、BERT等）技术的快速发展，越来越多的专业人士希望转行进入这一领域。大模型开发涉及复杂的技术体系和多样的应用场景，对从业者的知识和能力提出了较高要求。本文将详细解析转行大模型开发所需的知识体系、能力要求及学习路径，并结合实际数据和案例，提供深度指导。
2024-09-05 10:46:05
904
原创 RAG 入门指南：从零开始构建一个 RAG 系统
在开始之前，我还是打算再次简要的介绍一下 RAG。在 Meta 的官方 Blog 上有这样一段话：这段话主要讲述了一个新的模型架构，也就是RAG (检索增强生成)的重要性和优势。可以概括为以下几点：1. 构建一个能够进行研究和上下文分析的模型虽然更具挑战性，但对未来的技术进步非常关键；2. 通过在知识密集的下游任务上微调，RAG 可以实现最先进的结果，比现有的最大的预训练序列到序列语言模型还要好；3. 与传统的预训练模型不同，RAG 的内部知识可以轻松地动态更改或补充。
2024-09-05 10:41:18
368
原创 35岁零基础能转型AI大模型吗？
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。AI大模型开发是当前技术发展的热点之一，具有非常广阔的应用前景，包括自然语言处理、图像识别、推荐系统等多个方面。随着技术的进步和应用的拓展，对于AI大模型开发人员的需求也在不断增长。在AI大模型开发的快速发展的行业中，35岁的你完全有能力接受新知识，掌握新技能。
2024-09-05 10:39:22
305
原创 3分钟教你搞懂人工智能大模型的训练过程
大家好啊，之前有小伙伴私信我，想了解下大模型比如 chatGPT 是如何进行训练的。和他们聊了一下，发现有一个点一直在困惑着大家，那就是——大模型的训练是无监督学习还是有监督学习？在大模型训练过程中，数据的标签是什么？如何计算损失然后进行反向传播的呢？今天就简单来聊一下这个问题。事实上，很多自然语言处理（NLP）的模型，尤其是上文提到的大语言模型（如GPT系列），都是通过无监督学习或自监督学习的方式进行训练的。也就是说它们不需要人工标注的标签来进行训练。
2024-09-04 18:01:43
823
原创 大模型新手必读！《大规模语言模型：从理论到实践》好书推荐，附PDF版
预训练阶段：介绍了如何利用包含数千亿甚至数万亿单词的训练数据，并借助超级计算机进行深度神经网络参数的训练。同时，探讨了如何构建训练数据以及高效地进行分布式训练。有监督微调阶段：讲解了如何利用少量高质量的数据集，通过提示学习和语境学习等方法，将语言模型转变为对话模型。这一阶段的难点在于如何构建训练数据及其内部关系。奖励建模和强化学习阶段：介绍了如何根据用户提示词，利用奖励模型评估模型补全结果的质量，并通过强化学习进一步优化模型性能。该阶段需要解决强化学习方法稳定性不高、超参数众多及模型收敛困难等问题。
2024-09-04 17:54:55
1107
原创 转战大模型开发，能否逆袭职业生涯？看完你就明白了
大模型算是当之无愧最火的一个方向了，算是新时代的风口。有小伙伴觉得，既然是新领域、新方向，那么，人才需求肯定比较大，相应的人才缺乏，竞争也会更少我们先来分析一下大模型这个领域。实际上，大模型开发也分为两类。算法工程师就是研究大模型算法，应用工程师是基于大模型做一些上层应用的开发。当然，后面这类也需要对大模型有或多或少的了解，毕竟，你做普通业务开发还得了解MySQL、Kafka、Redis等底层实现一样。要求就高了，不是说你想转行去做，就能做得了的。
2024-09-04 17:53:37
1021
原创 省心学习大模型：告别无效努力！推荐《从零开始大模型开发与微调》附PDF，助你一臂之力！
通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。本书作者有长期的研究生和本科生教学经验，通过通俗易懂的语言，深入浅出地介绍深度学习与神经网络理论体系的全部知识点，并在程序编写时使用PyTorch20最新框架进行程序设计，帮助读者更好地使用PyTorch模型框架，理解和掌握PyTorch程序设计的精妙之处。本书手把手地从零开始向读者讲解大模型的构建方法，从最基础的深度学习模型搭建开始，直到完成大模型的设计、应用与微调工作。
2024-09-04 17:51:02
895
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人