- 博客(2025)
- 收藏
- 关注
RSS订阅
原创 LLM大模型学习：LLM大模型推理加速
文 Mia / 叶娇娇 推理优化部署、推理加速技术是现在，尤其在大模型时代背景之下，消费级 GPU 和边端设备仍为主流的状况下。推理加速是实际工程落地的首要考虑因素之一，今天笔者来聊聊涉及到的可以实现大模型推理加速的技术。
2024-09-08 09:15:00
2398
1
原创 必备收藏！大模型高频面试题汇总及答案解析
在原始 PLM (Pre-trained Language Model) 旁边增加一个旁路，做一个降维再升维的操作，来模拟所谓的 intrinsic rank。训练的时候固定 PLM 的参数，只训练降维矩阵A与升维矩阵B。而模型的输入输出维度不变，输出时将BA与PLM的参数叠加。用随机高斯分布初始化A ，用0矩阵初始化B，保证训练的开始此旁路矩阵依然是 0 矩阵。
2024-08-09 10:49:42
1631
1
原创 传统产品经理VS现在AI产品经理，你要学习的太多了，超详细收藏我这一篇就够了
传统产品经理想要转行成为AI产品经理，需要经历一系列的学习和实践过程。下面是一份详细的学习路线图，旨在帮助你顺利转型。学习路线图了解AI基础知识AI概览：阅读《人工智能：一种现代的方法》这样的书籍，以获得对AI领域的整体理解。在线课程：通过Coursera、edX等平台上的课程，学习AI的基础概念，例如机器学习、深度学习等。掌握核心技能编程基础：熟悉Python编程，这是AI开发中最常用的编程语言之一。数据处理：学习如何使用Pandas、NumPy等工具处理数据。
2024-08-01 11:51:04
1342
1
原创 AI大模型入门宝典：全面知识点解析，新手必备干货大全！
当我们提及大模型时，通常指的是大语言模型（Large Language Model，简称LLM），即文字问答模型，其典型代表便是OpenAI的GPT系列。然而，随着技术的日新月异，大模型已经不单单局限于自然语言处理（Natural Language Processing）领域的发光发热，而是逐渐渗透到了其他多个领域。
2024-07-13 10:41:51
2131
1
原创 清华博士带你掌握 Llama 大模型 40 节课助你涨薪 120%
可能大家都想学习AI大模型技术，也想通过这项技能真正达到升职加薪，就业或是副业的目的，但是不知道该如何开始学习，因为网上的资料太多太杂乱了，如果不能系统的学习就相当于是白学。• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
2024-06-07 17:48:23
1792
1
原创 35岁程序员AI大模型转型秘籍：从传统开发到年薪50万，揭秘岗位选择、学习路径与全景知识图谱！
“公司裁员整个后端团队，只留下懂大模型的工程师。”一位刚从某互联网大厂离职的程序员感慨。他35岁，技术栈停留在SSH框架，投递的简历大多石沉大海。这并非个例。2025年，AI大模型人才缺口已达百万级，而传统开发岗位需求萎缩。35岁程序员的职业危机背后，隐藏着一条新的生存法则：掌握AI者破局。
2025-11-13 15:12:09
767
1
原创 想做 AI 落地却没方向？AI Agent：普通人 & 程序员实现AI应用的最佳路径！
在大众以往的认知里，AI 似乎始终被困在“被动应答”的框架中——如同一位端坐案前、只懂检索信息的“百科全书管理员”。直到 GPT-4 创作出逻辑自洽的《哈利波特》续篇章节、Claude 独立完成复杂项目的代码编写，人们才惊觉，语言模型的能力边界正在被持续打破。但真正让 AI 实现“质的飞跃”的，并非单纯的文本生成能力提升，而是赋予其主动行动的“执行力”。
2025-11-13 15:09:24
380
原创 一文搞懂MCP、RAG、Agent：大模型进阶指南，建议收藏！
最近，AI 圈被三个词刷屏了 ——MCP、RAG、Agent！几乎每天都有新的相关工具冒出来，各大技术论坛、行业群聊得热火朝天。但不少朋友一看到这些术语就犯迷糊：它们到底是啥？能干啥？和我们普通人又有啥关系？别慌！今天就用最接地气的方式，带你彻底搞懂这些概念，看完秒变 AI 达人！
2025-11-13 15:06:16
163
原创 大模型深度解析：从Transformer到ChatGPT，探索其技术特点与行业影响！
大模型是参数规模巨大的机器学习模型，从2017年Transformer架构出现后快速发展，代表性产品包括ChatGPT、GPT-4等。其特点包括处理海量数据、自然语言对话、多任务处理能力和类人学习原理。关键技术有Transformer架构、有监督微调和人类反馈强化学习。大模型与传统机器学习模型在数据规模、模型规模、学习方式、泛化能力和性能表现上有显著区别，正在各行各业产生深远影响。
2025-11-13 15:00:58
386
原创 LLM开发者的进阶之路：上下文工程构建可靠AI系统！
本文探讨了LLM的三大结构性局限（记忆真空、上下文边界、幻觉问题），提出上下文工程作为解决方案。上下文工程是通过系统架构和数据流为模型提供持续可靠信息的工程范式，包含智能体、查询增强、检索、提示词技术、记忆和工具六大模块。这些模块协同工作，构建连接模型与外部世界的桥梁，解决LLM的无状态问题，实现可靠、个性化的AI应用。未来成功的AI应用80%价值将来自精心设计的上下文系统，而非模型本身。
2025-11-13 14:58:40
197
原创 2025年北上广程序员转型指南：应对裁员与AI冲击，掌握大模型技能，找到职业新方向！
文章分析了2025年程序员面临的就业挑战，包括裁员潮、薪资分化和AI冲击。指出程序员需从"代码工人"转变为复合型人才，提出了三大转型方向：技术深耕（如AI工程师）、业务融合（如技术产品经理）和创新探索（如鸿蒙开发者）。强调持续学习、拥抱变化是关键，通过掌握大模型等前沿技能，程序员可穿越行业周期，找到属于自己的破局之路。
2025-11-12 15:49:19
862
原创 AI大模型时代来临：人才缺口500万，年薪50万只是起步价，抓住机遇就在现在！
2025年，我们正站在AI大模型爆发的奇点上。从聊天助手到代码生成，从医疗诊断到金融分析，大模型技术正在重塑各行各业。与此同时，一个巨大的人才缺口已经出现——全国AI人才缺口高达500万，供需比达到惊人的1：10。
2025-11-12 15:42:52
626
原创 多智能体协作：自动化性能测试的新实践，提升软件质量与效率！LangGraph多智能体实战
本文介绍了基于LangGraph框架和多智能体协作模式的K6性能测试智能体实现方案。系统由一个主智能体和四个专业子智能体（场景设计、脚本编写、脚本评审、结果分析）组成，通过工具链和提示词工程，实现了从需求分析到测试执行的全流程自动化。多智能体协作结合迭代优化机制，确保测试脚本质量和结果准确性，为性能测试提供了智能化、自动化的解决方案。
2025-11-12 15:36:02
548
原创 【干货】AI Agent生态三大技术解析：Function Calling、MCP与A2A技术对比与应用！
本文解析AI三大巨头在Agent生态中的技术布局：OpenAI的Function Calling实现大模型与外部工具直接交互但扩展性有限；Anthropic的MCP提供标准化协议实现大模型与多元工具生态无缝对接；Google的A2A专注于Agent间通信与协同构建多Agent系统。三种技术各有所长，未来可能融合发展，共同推动AI Agent生态进步。
2025-11-12 15:33:41
542
原创 AI Agent上下文工程全解析：从入门到精通的上下文管理技术！
本文系统介绍了AI Agent上下文工程的四大核心技术：上下文卸载（分层式行为空间）、上下文缩减（双格式压缩与摘要）、上下文检索（索引与文件搜索）和上下文隔离（多Agent模式）。Manus团队分享了实战经验，包括双格式机制、可逆压缩策略、角色分工优化及安全护栏设计，有效解决上下文混淆、窗口溢出等问题，是构建高效AI Agent的必学知识。
2025-11-12 15:32:23
527
原创 大模型应用精华总结：AI Agent与Workflow模式对比及最佳实践！
文章比较了通用型AI Agent与Workflow的优缺点，指出最佳方案是结合两者，通过"Workflow+LLM/Agent"模式在控制成本的同时发挥AI创造力。同时详细介绍了Workflow的5种常见模式：提示词链、路由、并行化、协调器-工作器、评估器-优化器，并强调应根据实际需求合理设计系统，取长补短以解决业务问题。
2025-11-12 15:30:03
501
原创 AI Agent：企业数字化转型的新风口，万亿级市场等你来探索！
AI Agent作为新一代"数字员工"，正从被动问答向主动执行转变，成为企业数字化转型的新引擎。它具备理解语义、任务规划和逻辑推理能力，由规划、记忆、工具和行动四大组件构成。目前已有17.3%的企业启动AI Agent项目，预计2026年将突破30%，广泛应用于制造业、金融业等领域，提升效率30%-60%。企业面临可靠性、安全性和成本挑战，建议从小处着手，采用大小模型协同策略。未来，企业组织形态将从人主导转变为人机协作，由Agent驱动业务流。
2025-11-12 15:25:05
701
原创 AI大模型岗位薪资有多高？2025年AI大模型学习全攻略，助你成为高薪技术大咖！
薪资水平碾压传统岗位已成为不争的事实。脉脉高聘发布的报告显示，大模型算法工程师平均月薪高达68,051元，人工智能工程师平均月薪60,768元，位居技术岗位薪资榜首。北京市人力资源和社会保障局的官方数据进一步证实，AI大模型架构师、深度学习研究员等热招职位薪酬中位值均超过40,000元/月。
2025-11-11 15:59:05
720
原创 AI时代产品经理转型必备：从原型设计到大模型应用，全面提升核心竞争力！
文章指出AI时代产品经理岗位已发生变革，传统技能已不足以应对市场竞争。现代产品经理需具备"业技一体"能力，包括底层产品能力、行业经验、业务理解力和AI知识。文章强调体系化产品能力框架和出色项目经验的重要性，并推荐《产品经理私教陪跑实战营》课程，声称可帮助产品经理提升核心竞争力，获得更好职业发展机会。
2025-11-11 15:54:50
499
原创 想打造大模型智能体？这三款低代码平台Dify、n8n、Coze，你不得不了解！
本文系统介绍基于低代码平台构建AI智能体的方法与实践，分析低代码平台的核心价值（降低门槛、提升效率、提供可视化、标准化沉淀）。详细对比三款代表性平台：Dify（全栈式企业级）、n8n（通用工作流自动化）和Coze（零代码友好），包括各自特点、优势与局限性。最后根据不同需求（快速原型、企业应用、深度集成）提供选型建议，强调低代码与代码开发的互补关系，是智能体工程化的最佳实践。
2025-11-11 15:52:13
600
原创 【万字长文】多模态技术如何成为推荐系统的破局关键？来自饿了么一线的实战复盘
文章详细介绍了饿了么团队在多模态推荐系统方面的技术实践，从传统ID特征推荐向多模态推荐的演进过程，探讨了多模态表征技术发展，分享了饿了么首页店铺推荐场景的多模态系统设计与三阶段训练策略，并分析了生成式推荐的技术挑战与未来发展方向。通过实践验证，多模态推荐系统显著提升了饿了么首页推荐的订单量、访购率和GMV。
2025-11-11 15:47:29
778
原创 【干货】大模型对齐核心技术：RLHF中的奖励模型与PPO算法详解！
本文详细解析了大型语言模型与人类价值观对齐的关键技术——人类反馈强化学习(RLHF)。文章介绍了RLHF的三阶段流程：预训练、监督微调(SFT)和人类反馈强化学习，重点阐述了奖励模型训练和近端策略优化(POP)的实现原理。这种方法能有效解决LLM输出与人类期望不一致的问题，尽管面临计算复杂、不可微性和不稳定性等挑战，仍是当前大模型对齐的重要技术路径。
2025-11-11 15:45:28
453
原创 大模型量化新范式：Kimi K2 Thinking的 INT4 QAT技术揭秘！
文章介绍了Kimi K2 Thinking模型的原生INT4量化技术，探讨了低比特量化对大模型推理延迟的重要性，分析了QAT相比PTQ的优势，并分享了INT4 QAT在强化学习训练阶段带来的性能提升。作者认为在LLM时代，量化已成为与"SOTA"和"Frontier"并重的概念，能够加速模型达到前沿水平。INT4因其表示能力和高效实现，成为当前量化方案中的优秀选择。
2025-11-11 15:43:37
567
原创 从课程作业到GitHub明星：如何用多Agent系统实现变现与职业突破？
20岁，大学生，课程作业。半年时间，23.8k stars，冲上GitHub热榜第一，3-4万收入，北京实习offer主动找上门。这不是爽文，是真实发生的故事。
2025-11-11 15:41:58
890
原创 2025年入坑AI大模型还来得及吗？万字长文深度解析行业趋势与就业突围路径！
市场需求究竟有多大？麦肯锡发布的研究报告给出了明确答案：到2030年，我国对AI人才的需求达到600万人，而市场上能提供的只有约200万人，意味着人才缺口高达400万！ 有调研显示，高达91.3% 的受访企业面临AI人才缺乏的问题，其中AI数据工程师、AI算法工程师、AI产品经理等五类岗位的需求量最高。
2025-11-10 17:18:53
1719
原创 2025年LLM技术全景：超详细，深入解析大模型学习，掌握未来AI的关键技能！
本文解析了2025年大语言模型四大应用范式：Prompt Engineering、Fine-Tuning、RAG和AI Agent，对比了它们的优势、局限及适用场景。最佳实践是分层叠加使用而非简单"选边站"。Prompt工程适合快速迭代，微调保障垂直专业性，RAG确保知识时效性，Agent实现复杂任务闭环。AI工程师应成为系统架构师，根据场景灵活组合技术，实现效率大幅提升。
2025-11-10 17:12:48
944
原创 如何利用大模型技术构建专业级知识图谱？
本文介绍如何利用大模型技术构建小众专业知识图谱，以威胁情报领域为例。传统方法面临数据标注稀缺、实体复杂和关键信息遗漏等痛点。文章提出三步解决方案：利用大模型少样本学习解决数据标注问题，通过轻量级微调使小模型适配专业任务，以及整合信息去冗余构建高质量知识图谱，有效解决了小众领域知识图谱构建难题。
2025-11-10 17:10:52
1003
原创 云终端+Agent融合技术：让任何设备运行大模型，不再受硬件限制！
文章介绍"云终端与Agent平台融合"新概念，通过将华为云Versatile智能体平台与CloudDevice云终端结合，使各种终端设备无需强大本地算力即可运行AI大模型。这种融合不仅让旧设备焕发新生，更能实现具有自主学习和进化能力的Agentic AI，从被动响应工具转变为主动服务的业务伙伴，成为未来数字基建的重要组成。
2025-11-10 16:52:47
823
原创 AI Agent智能体系统路由技术全解析：从规则到LLM的四种实现模式对比与应用指南！
文章介绍了智能体系统中路由模块的作用与四种实现模式。路由模块主要负责分发、调度、仲裁及兜底，理解用户意图并引导到相应处理流程。四种模式包括：基于规则(响应快但泛化性差)、基于小模型(平衡准确度和响应速度)、基于大模型(无需预先工作但响应慢)和基于嵌入(通过向量化检索实现语义理解)。实际应用中建议先通过大模型模式快速验证，再根据需求选择其他模式优化，需在理解效果、响应时延和实现成本间取得平衡。
2025-11-10 16:50:36
491
原创 深入理解GSPO算法：大模型微调中的稳定性与效果分析！
本文详细介绍了GSPO算法在大模型微调中的应用，通过与GRPO算法的对比，从数学原理上解释了GSPO在训练大型语言模型时的稳定性优势。作者展示了GSPO的代码实现，并通过实验比较了两种算法在提升模型定位能力方面的效果。实验结果表明，在特定条件下，GRPO的效果反而优于GSPO，这为研究者提供了有价值的实践参考。
2025-11-10 16:46:18
844
原创 什么是Embedding？从统计词向量到AI应用，探索自然语言处理的奥秘！
本文详细介绍了Embedding技术演化的起点——传统基于统计的词向量表示方法，包括One-Hot编码、词袋模型和TF-IDF三种经典技术。One-Hot将词表示为稀疏向量，词袋模型统计词频，TF-IDF则通过词频与逆文档频率的乘积赋予词语重要性权重。这些方法虽简单，但为后来的神经词向量奠定了基础，解决了文字数字化表示的基本问题，但仍有向量稀疏、缺乏语义关联等局限。
2025-11-10 16:43:44
831
原创 LangChain大模型应用开发指南：零基础也能快速上手，建议收藏学习！
LangChain是一个Python开源框架，用于构建基于大语言模型(LLM)的应用程序。它支持集成多种大模型和数据源，通过模块化组件让开发者快速搭建AI应用。核心功能包括模型调用、文档处理、智能工作流管理等，特别适合开发智能客服、知识库等场景。文章提供了安装指南、示例代码和实战案例，帮助开发者快速上手。框架还支持调试工具LangSmith和部署工具LangServe，可将AI应用打包为API服务。对于想进入AI应用开发领域的开发者，LangChain提供了一条低门槛的学习路径。
2025-11-09 08:30:00
908
原创 vLLM批量不变推理功能：解决大模型批量推理一致性问题！
vLLM推出的批量不变推理功能解决了大模型推理中相同输入在不同批量大小下产生不同结果的关键问题。通过设置VLLM_BATCH_INVARIANT=1环境变量，可确保输出完全一致。该功能通过自定义Triton算子、PyTorch执行重写和后端调整实现，虽可能有性能开销，但显著提升了生产环境中模型输出的确定性，简化了调试和测试流程。
2025-11-09 08:00:00
643
原创 2025年最火技术岗来袭！大模型应用开发工程师，平均月薪30K+，现在入局正当时！
2025年，人工智能作为核心驱动力，正加速推动各行业智能化转型。根据摩根士丹利的研究，软件开发市场正以20%的年增长率扩张，预计到2029年将达到610亿美元。大模型应用开发工程师已成为这场变革中最炙手可热的岗位。各大招聘平台数据显示，大模型相关岗位需求同比增长超过200%，人才缺口持续扩大。从头部科技公司到传统行业，都在积极招聘大模型应用开发人才。
2025-11-08 16:15:24
1190
原创 “就业难”、“裁员潮”？大模型技术：程序员应对裁员与就业寒冬的终极武器，建议收藏！
文章通过三个真实案例揭示了当前IT就业市场的"凉"与"卷"现状：HC冻结、技术要求更务实、薪资增长停滞。作者建议技术人在寒冬中应稳住心态、深耕核心技术、拓宽复合型技能、保持身心健康，同时暗示学习大模型等前沿技术可能是未来出路。最后强调"寒冬里，活下来就是胜利"。
2025-11-08 16:12:37
1223
原创 LLM架构新趋势：在Kimi K2 Thinking和MiniMax-M2之后，未来的发展方向是什么？
本文深入解析近期国产大模型架构创新，包括Kimi K2 Thinking、MiniMax-M2、Kimi Linear和Qwen3-Next等模型的设计特点。重点探讨注意力机制从传统二次方到线性注意力的演变与争议，以及混合架构的兴起。分析不同模型在性能优化、参数设计上的差异，揭示LLM架构发展趋势，为开发者和研究者提供全面技术参考。
2025-11-08 16:10:51
916
原创 大模型RAG应用：4种文本分块技术详解，从基础到进阶！
本文详细介绍了RAG中的四种文本分块技术：固定大小分块实现简单速度快，适合对语义要求不高的任务；递归字符分块保持语义完整性，适合中英文混合文本；语义分块基于句子向量计算，确保块内语义高度一致，适合长篇文章；基于文档结构的分块保留宏观逻辑，适合RAG应用。文章通过代码示例展示了各种分块方法的实现，并提供了根据需求选择合适分块策略的指导。
2025-11-08 16:08:53
716
原创 大模型压缩秘籍：低秩分解与量化技术详解，建议收藏！
本文介绍大模型两大压缩技术：低秩分解通过SVD分解权重矩阵为低秩形式，降低存储和计算复杂度；模型量化则降低参数精度，减少内存占用并提高计算速度。前者适用于存在冗余的权重矩阵，后者特别适合边缘设备部署。两种技术都能有效减小模型体积，提升推理效率，是优化大模型部署的重要手段。
2025-11-08 16:07:31
949
原创 AI大模型入门指南：小白也能轻松理解的工作原理全解析！一文说清
在AI技术飞速发展的今天，生成式AI、监督学习、Transformer、大语言模型等术语频繁出现在我们的视野中。这些技术究竟是什么关系？又该如何系统理解AI大模型的知识体系？本文将从概念定义、技术关联到核心原理，逐步拆解AI大模型家族的全貌，帮助你建立清晰的认知框架。
2025-11-08 16:04:38
998
原创 35岁，转行AI正是黄金期！大模型领域机会、学习路径全解析，程序员/小白都适用
“我32岁学AI是不是太老了？”上周刚拿到某互联网公司算法岗offer的李哥，入职当天才发现自己是组里最“年轻”的那个。带他的导师37岁，团队里还有两个35+的前辈——这直接打破了“程序员吃青春饭”的刻板印象。在我国人工智能人才缺口高达500万人而人工智能专业在校生仅约4万人的今天，35岁不再是职场的分水岭，而是借助AI实现价值跃升的新起点。年龄从来不是障碍，固化思维才是。
2025-11-07 16:31:35
1000
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人