脱泥不tony-CSDN博客

原创这是我见过最全LLM大模型基础知识学习汇总，建议收藏！

关于如何入门LLM，大多数回答都提到了调用API、训练微调和应用。但是大模型更新迭代太快，这个月发布的大模型打榜成功，仅仅过了一个月就被其他模型超越。训练微调也已经不是难事，有大量开源的微调框架（llamafactory、firefly等），你只要懂部署，配置几个参数就能启动训练。甚至现在有大量云上项目，你根本不需要部署，直接上传数据，就能启动。

2024-10-14 10:30:26 942

原创万字长文，算法工程师的深度经验总结！

本文对自己的成长和思路进行了总结，总共分了三个角度：模型策略、工作思路以及个人成长，总结了自己在算法岗位三年的心得体会。目录：模型策略篇。讨论算法方案的思考。工作思路篇。工作思维，结果导向。个人成长篇。如何让自己更好地解决更多问题。

2024-10-14 10:11:31 938

本文探讨了智能 AI 应用为什么需要知识库，主要围绕以下几点展开：1. 大语言模型(LLM)的局限性：LLM 无法准确预测训练数据之外的内容。2. RAG(检索增强生成)技术：通过引入外部知识库，使 AI 能够访问和利用特定领域或组织的内部知识，无需重新训练模型。3. RAG 的工作原理：在用户提问前，将相关知识作为上下文提供给 AI 模型，使其能够"学习"并回答相关问题。4. 高质量 RAG 知识库的搭建：强调了文档质量的重要性，并提供了文本分段与清洗的具体建议。

2024-10-12 10:47:01 794

原创这本书有亿点厉害！带你快速入门扩散模型，从原理到实战！！-《扩散模型从原理到实战》

扩散模型：从原理到实践》是一本全面深入的书籍，系统性地介绍了扩散模型的基础知识、构建方法、训练技巧以及在多个领域的应用实例。书中首先对扩散模型进行了概述，包括其概念、历史和重要性，随后深入数学基础，详细讲解了扩散方程、随机过程和概率论。接着，探讨了不同类型扩散模型的特点和应用场景。书中第二部分重点介绍了模型设计、训练方法和实用技巧，如网络结构选择、损失函数、优化算法以及防止过拟合和加速训练的策略。

2024-10-12 10:44:29 745

原创打造自己的RAG解析大模型：(可商用)OCR全服务部署，文本+表格+版面！

当文本检测、方向分类、文本识别、表格识别和版面识别这几个模型成功串联并发布后，整个系统便能够完整解析PDF、图片等文档中的内容。百度提供的通用OCR模型已经能够满足大部分业务场景中对PDF和图片数据的解析需求，返回结果为JSON格式，其中表格内容则以HTML形式展示。该服务具有基本的商用功能，能够承接文档解析业务。如果再结合APP应用层，该系统可以灵活适应更多业务场景，扩展其应用范围。此外，通过发布SER（结构化实体识别）模型，系统还能够实现对发票、证件等特殊文档的关键信息抽取，提供更强大的文档解析功能。

2024-10-11 09:43:26 626

原创颠覆RAG性能！揭秘多头RAG的强大优化秘诀

尽管经典的检索增强生成（RAG）通过将检索到的文档纳入大型语言模型（LLM）的上下文中来提供更准确和相关的响应，从而增强了模型的功能，但它在处理多样化内容查询时表现出局限性。此类查询在实际应用中非常常见，尤其是在需要从截然不同的多个信息源中获取答案时，RAG方案往往难以应对。这是因为这些文档的嵌入在嵌入空间中可能相距较远，传统的检索方法很难同时准确捕获所有相关内容，导致查询结果不够全面或准确。尤其是在面对一些复杂问题时，经典RAG的能力受限，无法充分利用多样化的检索结果来生成最佳回答。

2024-10-11 09:35:17 724

原创谁懂这个含金量啊！清华终于出大模型课了!零基础入门到精通，看这一篇就够了

一定要看OpenBMB跟清华大学自然语言处理实验室联合推出的，是学术界泰斗刘知远老师亲自主讲的。都不用说大家就知道，清华的含金量有多高。这门课不仅聚焦于大模型的基础理论和实践操作，还围绕了一些当前热点问题，比如模型的可解释性、伦理问题、以及如何在实际场景中高效部署大模型等。

2024-10-10 10:15:00 785

原创解锁RAG架构：必知的6种提升AI内容生成的检索增强技术（二）

Speculative Retrieval-Augmented Generation (Speculative RAG) 是一种改进的生成式AI技术，旨在通过使用检索增强生成（RAG）来优化生成效率和响应质量。其核心思想是结合生成模型（例如大语言模型，LLM）的强大自然语言生成能力与外部文档检索的精确性，以生成更可靠、上下文相关且高效的结果。

2024-10-10 09:41:10 679

原创锁RAG架构：必知的6种提升AI内容生成的检索增强技术（一）

近年来，检索增强生成（RAG）技术重新定义了AI模型的工作方式，将生成式AI的创作能力与检索真实世界数据的精确性结合在一起。通过从外部数据源提取相关信息，RAG 使AI能够生成更加准确且上下文相关的响应。随着这项技术的不断发展，RAG 也衍生出多种变体，每种变体针对不同的挑战，进一步提升了AI的整体性能。在本文中，我将深入探讨六种关键的RAG技术，重点说明它们如何通过各自独特的方法提升AI生成内容的质量。

2024-10-09 14:00:00 1438

原创转AI产品，请按照这个顺序学习！一篇就够！

之前有很多朋友知道我已经转行成功了想知道我到底如何学习现在我已经上班一段时间了根据我之前的学习计划又进行了复盘和修改这次更新的版本适合所有想要学习AI产品的朋友可以让你按照科学的方式学习～基本上用5周的时间即可，先入行再深入研究，时间不要拉的太长！

2024-10-09 09:45:00 1096

原创手撕Transformer之The Decoder

如果目标序列存储在 trg 中，那么解码器的输入将是 trg[:,:-1]，以选择除最后一个标记以外的所有内容，这可以从上面的目标输入中看到。在没有训练的情况下，输出是无用的，但这说明了一个基本的前向传递。这个最终目标掩码必须为批次中的每个序列创建，这意味着它的形状为（batch_size, 1, trg_seq_length, trg_seq_length）。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。

2024-10-08 09:58:34 697

原创全是细节｜大模型SFT的100个关键点

在大模型浪潮初期，我和我的前辈曾经有过一段对话。我：这工作（某个方向的 sft）交给我合适吗，我能胜任吗？前辈：这工作谁都能做。我：那你为啥选我来做？前辈：这不是因为我认识你，跟你熟悉嘛。我：……前辈：你做不做，不做有的是人想做，不行我招个实习生来做。我：我做我做，我当然做。

2024-10-08 09:49:20 1365

原创为什么一定要用大模型，为什么说AI大模型开发人人必备？

AI 大模型技术经过2023年的狂飙，2024年迎来应用的落地，对 IT 同学来讲，这里蕴含着大量的技术机会，人人必备开发技能。文讨论 AI 大模型开发技术大师的修炼之道，试图找到一个共同的速成模式，希望对 IT 同学有所助益！：学会，对 Transformer 神经网络架构有个大致的了解，能够搞懂：LLM 大模型是如何预测下一个 token 的、涌现是如何产生的、幻觉问题如何避免、在线推理的性能问题如何解决、LLM 大模型的选型。：学会。

2024-10-07 11:37:26 1204

原创一种将RAG、KG、VS、TF结合增强领域LLM性能的框架

SMART-SLIC框架：旨在将结合（Knowledge Graphs）和（Tensor Factorization）来增强的大型语言模型（LLMs）的性能。项目从由主题专家（SMEs）选定的核心文档开始，这些文档代表了想要构建数据集的特定领域。利用SCOPUS、Semantic Scholar和OSTI等授权API，通过引用和参考文献网络扩展数据集。为了保持核心数据集的中心质量和主题一致性，采用了几种修剪策略来删除与核心文档无关的文档。

2024-10-07 09:45:05 750

原创大模型时代下小模型知多少？从模型结构、预训练数据到运行时成本分析总结

SLMs已经引起了研究和工业界的越来越多的关注。值得注意的是，自2023年底以来，SLM模型的数量显著增加。其中，“小”的定义是主观的，并且是相对的。随着时间的推移，它也可能发生变化，考虑到设备内存在不断增加，并且将来可以承载更大的“小型语言模型”。将SLMs的大小上限设定为5B，因为截至2024年9月，7B LLMs主要还是在云端部署。为了理解它们的能力与成本，根据以下标准全面收集了SLMs：(1)只收集具有仅解码器Transformer架构的模型（其性能优越且在现实世界中易于部署）；

2024-10-06 10:04:48 1304

原创双非本 985 硕，上岸快手大模型算法岗！

最近已有不少大厂都在秋招宣讲，也有一些已在 Offer 发放阶段了。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。今天分享一位朋友的上岸之旅，最终拿下快手大模型算法岗：这段时间面了很多算法和大模型的岗位，能走到最后一轮的寥寥无几，几乎全军覆没，感谢快手给了我上岸的机会，太幸运了！算法岗真的要好好研究明白才行，问的内容全又细，面试官几乎全程直接提问题，

2024-10-06 10:01:51 1397

原创程序员必备！面向Prompt编程全攻略

大语言模型的本质是在做文本补全，后文的输出会更倾向于依据距离更近的语境，如果利用 “LIME” 这样的模型解释算法分析，距离更近的文本间权重往往更大，这在 Transofrmer 中的 Attention 权重上也可以清晰的看到。同时，这与大模型在预训练阶段中完成的任务也更加匹配，虽然现在的大模型在 SFT 阶段会进行多种任务的训练，但其本质上还是建立在自监督“文本补全”任务上被训练出来的，因此其天然的更加遵从离得更近的文本。因此，把要求放在 Prompt 的最后可以很有效的帮助大模型变得更“听话”。

2024-10-05 11:00:00 746

原创揭秘RAG多模态应用：Text2Image检索开源项目

以文搜图（Text-to-Image Search）是一种利用文本描述来检索相关图像的技术。基于CLIP（Contrastive Language-Image Pre-training）和Chinese-CLIP模型的以文搜图系统在近年来得到了广泛应用和研究。以下是对这两种模型及其应用的概述。

2024-10-04 08:00:00 878

原创大模型初学者必看书籍：大语言模型知识大全！入门到实战，通俗易懂！｜附391页PDF文件下载

大语言模型综述文章《A Survey of Large Language Models》团队终于出书啦！而且是中文版——《大语言模型》！这本书整理呈现了大模型技术框架和路线图，是一本非常好的入门书籍。本书旨在为读者提供大模型技术的全面了解，包括基础原理、关键技术及其应用前景。通过深入研究和实践，我们可以不断探索和改进大模型技术，推动人工智能领域的发展。希望读者通过本书能够深入了解大模型技术的现状与未来趋势，为自己的研究和实践提供指导与启发，共同推动人工智能技术的进步，创造更智能、更可持续的未来。

2024-10-03 12:00:00 316

原创 RAG早已经过时，RAG-Fusion正当时

RAG，即检索增强生成，是一种人工智能框架，通过将 LLM 生成的响应与外部知识来源结合，从而提高响应的质量和准确性，这也是其名称的由来。RAG 处理的阶段。

2024-10-02 11:15:00 618

原创大模型RAG不存在了么？

ChatGPT爆火之后，以ChatPDF为首的产品组合掀起了知识库问答的热潮。在过去一整年中，大多数人都在完成RAG系统到高级RAG系统的迭代升级。但是技术发展是迅速的，如何深入了解RAG的发展，做出更好的RAG系统，其实还是非常困难的。大模型爆火后的RAG系统发展，大体可以将其分为3个阶段，初级、高级、超级。初级阶段更多的是搭建起系统的pipeline；高级阶段是在召回生成测修修补补，根据badcase反推流程上的优化技巧；

2024-10-01 11:30:00 721

原创转行AI产品经理前真后悔没看到这篇…

转行AI产品经理前真后悔没看到这篇…文科生能不能做产品经理，大家对这些是一头雾水，也不知道AI产品经理具体都做些什么，又要具备那些能力因为在不同的业务发展不一样，所以对人的标准和要求也不一A I产品经理方向很多、分类方式也不同，譬如按领域分有做语音识别、图像识别等等。按照产品类别分有AIGC产品经理、AI硬件产品经理、AI视觉产品经理、AI语音/客服产品经理等等…今天我就把AI产品经理这个岗位的工作内容以及相关的干货都仔细梳理了一遍，希望对大家有帮助，顺便也回答一下大家的问题。

2024-09-30 09:35:58 918

原创从传统 RAG 到图 RAG，赋予大型语言模型更强大的知识力量

大型语言模型 (LLMs) 在固定数据集上进行训练，其知识在最后一次训练更新时就已固定。ChatGPT 的常规用户可能已经注意到其众所周知的局限性：“这种局限性会导致模型产生不准确或过时的响应，因为它们会“”信息。在不重新训练或微调的情况下，用新信息更新模型或增强其上下文理解能力，在资源和人力方面都极具挑战。

2024-09-29 19:38:54 1112

原创深度学习 Transformer 的自注意力机制掩码

A01深度学习 Transformer 自注意力机制中的掩码（Mask）是一种关键技术，用于控制模型在处理序列数据时哪些位置的信息可以被相互关注。掩码在不同的上下文中有不同的应用，但总体目的是防止在处理序列的当前位置时“泄露”未来位置的信息或者忽略无关的位置。02在自回归任务中，如语言模型或机器翻译，每个输出应该仅依赖于它之前的输出。因此，需要一个掩码来确保在计算当前输出时忽略所有未来的位置。

2024-09-28 09:30:12 894

原创 30+程序员顶着被裁员的压力，为什么选择从零开始：转行大模型？

会又面临挑战的关键时刻。随着人工智能、大数据处理、云服务等领域的迅猛发展，大型模型（例如GPT系列、BERT等）已经成为行业内的热议焦点。这些模型不仅在自然语言处理方面实现了显著的进步，而且开始影响图像识别、个性化推荐等多个领域，对人们的生活习惯和工作方式产生了深远的影响。因此，对于程序员来说，转向大模型研究和发展方向是否明智，成为了一个值得深思的问题。

2024-09-27 10:07:07 902

原创深度学习 Transformer 要学习哪些参数？

无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。很多人学习大模型的时候没有方向，东学一点西学一点，像只无头苍蝇乱撞，下面是我整理好的一套完整的学习路线，希望能够帮助到你们学习AI大模型。第七阶段：以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

2024-09-26 09:39:01 641

原创手撕Transformer之Positional Encoding

位置编码（Positional Encoding）多用于为序列中的每个标记Token提供相对位置信息。在阅读句子时，每个单词都依赖于其周围的单词。例如，有些单词在不同的语境中有不同的含义，因此模型应该能够理解这些变化以及每个单词所依赖的语境。比如单词"trunk "就是一个例子，在一种情况下，它可以指大象用鼻子来喝水。在另一种情况下，它可以指树的树干被闪电击中。由于模型使用长度为 d_model 的嵌入向量来表示每个单词，因此任何位置编码都必须兼容该向量。

2024-09-26 09:36:37 1121

原创转AI产品经理，请按照这个顺序学习

2024年对于转行AI产品经理来说，确实是一个很好的机会。随着AI技术的快速发展和广泛应用，AI产品经理的需求也在不断增加📈

2024-09-25 12:03:39 631

原创最近大厂推出的Prompt Cache到底是个啥？

例如，从7B模型升级到13B模型，在3K令牌长度下，延迟增加了220毫秒，而提示缓存仅增加了30毫秒。表明提示缓存的延迟优势随着序列长度的增加而显著扩大，尤其在CPU上更为明显，因为CPU在注意力计算上的延迟更高，而提示缓存的开销，无论是GPU中的主机到设备内存复制，还是CPU中的主机到主机内存复制，差异并不显著。例如，如果有100个请求，每个请求包含2K令牌的提示，且所有提示共享相同的1K令牌模块，那么提示缓存结合分页注意力等方法，可以将内存占用减少50%，允许更大的工作批次大小，从而提高吞吐量。

2024-09-25 10:30:00 1455

原创被神化的o1模型，规划能力到底如何？

规划能力一直被视为智能代理的核心，自人工智能诞生之初便是研究重点。随着大型语言模型（LLM）的兴起，其规划能力备受关注。2022 年，我们推出了 PlanBench 基准，成为评估 LLM 规划能力的关键工具。尽管 GPT3 后涌现了众多 LLM，但在此基准上的进展却出奇缓慢。OpenAI 的 o1（Strawberry）模型旨在突破自回归 LLM 的局限，成为新型的大型推理模型（LRM）。本文以此为契机，全面审视了当前 LLM 及新 LRM 在 PlanBench 上的表现。

2024-09-25 09:33:30 1021

原创《PyTorch深度学习实战》PyTorch入门书籍！强迫自己一周刷完你的Pytorch就牛了！

本书指导读者使用Python和PyTorch实现深度学习算法。本书首先💫介绍PyTorch的核心知识，然后带领读者体验一个真实的案例研究项目：构建能够使用CT扫描检测恶性肺肿瘤的算法。你将学习用有限的输入训练网络，并处理数据，以获得一些结果。你将筛选出不可靠的初始结果，并专注于诊断和修复神经网络中的问题。最后，你将研究通过增强数据训练、改进模型体系结构和执行其他微调来改进结果的方法。通过这个真实的案例，你🌈会发现PyTorch是多么有效和有趣，并掌握在生产中部署PyTorch模型的技能。第 1 部分中，

2024-09-25 09:15:00 419

空空如也

空空如也