上马定江山-CSDN博客

原创大模型知识库——检索增强(RAG)技术与向量数据库的选择

在之前关于RAG技术的文章中有介绍过知识库与检索增强的关系；也简单介绍了RAG的使用场景。而RAG和向量数据库的实现原理，以及怎么选择向量数据库，是在智能客服，推荐系统等领域必须要解决的一个问题。

2024-11-03 08:00:00 516

原创搭建大模型知识库流程，以及基于langchain实现大模型知识库案例

知识库技术在大模型之前就已经出现了，简单来说就是公司内部的文档系统，里面记录了企业内部的资料，文档等，形式可以是一个web系统，甚至就是一个文件夹。而我们今天说的大模型知识库是基于RAG技术，结合知识库技术产生的一个变种，主要区别就是数据格式问题。

2024-11-02 08:00:00 652

原创 2024最新最全【AI产品经理】学习零基础入门到精通，看完你就懂了！

随着算法、算力和数据的蓬勃发展，AI时代的曙光已然照耀全球，行业巨头们纷纷摩拳擦掌，布局人工智能赛道，催生了对AI人才的渴求。在这个充满机遇的时代，产品经理如何才能抓住AI的风口，快速入行，抢占职业先机呢？AI时代，对于产品经理而言，既是挑战，更是机遇。通过不断学习，提升AI相关技能，掌握科学的产品设计方法，产品经理完全可以在AI的浪潮中先人一步，不仅能够提升个人职业竞争力，更有机会引领产品创新，为用户带来前所未有的体验。

2024-11-01 15:37:01 412

原创 MyScale + LangChain: 打造 AI Agent 技术指南

AI 智能体正在重塑各行各业，显著提升效率和生产力。研究表明，超过 60% 的企业主预期 AI 的实施将提升生产力，其中 64% 认为 AI 将提升整体业务生产力，42% 预计工作流程将得到简化。这些数据凸显了 AI 智能体在优化工作流程和推动行业增长方面的变革性作用。LangChain 以其革命性的模块化框架简化了 AI 驱动的语言应用的创建。该框架提供了一个与语言模型交互的标准化接口，并可无缝集成外部数据源。LangChain 降低了操作大型语言模型（LLM）的复杂性，即使缺乏机器学习或 AI 专业知识

2024-11-01 11:34:30 523

原创大模型高效微调详解-从Adpter、PrefixTuning到LoRA

打开colab，创建一个空白notebook，在\[修改运行时环境\]中选择15GB显存的T4 GPU.

2024-10-31 21:53:43 604

原创 2024请收好这一份全面且详细的AI产品经理从业指南，错过会后悔！！

入行人工智能领域这段时间以来，从零到一把AI推荐系统产品化搭建了起来，也与很多同行AI产品经理小伙伴建立了联系。AI产品经理工作内容各异，不同AI产品化生命周期中更是大为不同，但对想入行AI产品经理的小伙伴来讲，有些经验还是可供参考的。

2024-10-31 21:05:31 549

原创 AI大模型真的是大龄程序员的新出路吗？

在IT行业的高速运转中，许多资深程序员到了一定年龄后，会发现自己陷入了职业发展的瓶颈。尤其是在北京这样的大厂，业务波动、部门调整以及裁员风险，都让“40+”的程序员们感受到了前所未有的压力。当昔日的技术热情逐渐消退，对未来的迷茫与不确定性笼罩心头时，是否还有破局的希望？答案是肯定的，那就是转向AI大模型领域。大龄程序员转行至AI大模型领域并非遥不可及的梦想，而是充满机遇的现实选择。在这个过程中，你不仅能够重拾对技术的热情，还能开拓职业生涯的新篇章。

2024-10-30 16:21:54 966

原创掌握顶级 RAG 技术，不可错过的关键知识！错过会后悔系列！！！

什么让 RAG 系统真正成为顶级的呢？组件，对吧？让我们回顾一下最好的组件以及它们的工作原理，这样您也可以使您的 RAG 系统成为顶级系统，并以多模式奖励结束。

2024-10-30 11:05:17 663

原创 AI大模型面经—RAG工程实践经验总结，建议收藏起来慢慢看！！

虽然RAG工程整体有很多论文、算法和方法论，但在实际使用过程中，当数据量大了RAG很容易出现不可控的问题，本篇就针对实践过程中遇到的问题总结面经进行分享，看看能不能给大家提供一些帮助。一. RAG如何去优化索引结构？1. 优化被检索的embedding1）微调被检索的embedding让被检索的内容与query之间的相关性更加紧密特别是术语更新较快且比较罕见的领域，可以针对性地进行微调。2）动态embedding基于上下文动态调整embedding。

2024-10-29 18:52:36 581

原创解密Prompt系列38.多Agent路由策略

常见的多智能体框架有几类，有智能体相互沟通配合一起完成任务的例如ChatDev，CAMEL等协作模式, 还有就是一个智能体负责一类任务，通过选择最合适的智能体来完成任务的路由模式，当然还有一些多智能体共享记忆层的复杂交互模式，这一章我们针对智能体路由，也就是选择最合适的智能体来完成任务这个角度看看有哪些方案。

2024-10-29 10:55:01 734

原创 AI产品经理入门基础教程，非常详细，从入门到精通，收藏这一篇就够了

AI产品经理是负责将人工智能技术整合到产品中的专业人士。与传统产品经理相比，AI产品经理不仅需要具备深厚的技术理解力，还需要能够将技术与市场需求紧密结合，创造出更有竞争力的产品。需求分析：通过市场调研和用户访谈，明确产品的功能需求。技术选型：根据需求选择合适的技术方案，如机器学习模型、自然语言处理等。产品设计：与设计师合作，确保产品的用户体验和可用性。项目管理：协调开发、测试等各个环节，确保项目按时交付。数据分析：通过数据反馈不断优化产品功能，提升用户体验。

2024-10-28 11:14:14 837

原创解密Prompt系列37. RAG之前置决策何时联网的多种策略

最后让我们把两章提及RAG前置检索决策的方案做下简单的分类基于输入无监督分类：基于历史问题使用KNN最近邻判有监督分类：微调模型去判断什么时候需要检索Verbose：基于指令让模型自己回答该问题否需要检索RLHF: 通过对齐让模型自我判断并拒绝基于输入和输出（输出可以是完整回答，也可以是下一句推理）Verbose: 让模型先回答，再用指令让模型基于问题和回答一起判断是否需要检索Contradicotry: 基于单模型，多模型回答的矛盾来判断模型是否可能不知道。

2024-10-28 10:17:44 908

原创解密Prompt系列36. Prompt结构化编写和最优化算法UNIPROMPT

上一章我们聊了标准化的Prompt生成方案DSPy，但DSPy还是更多依赖few-shot的Prompt编写范式，在纯任务描述型指令上的优化效果有限。这一章我们就重点关注描述性指令优化。我们先简单介绍下结构化Prompt编写，再聊聊从结构化多角度进行Prompt最优化迭代的算法方案UniPrompt

2024-10-27 08:00:00 735

原创解密prompt系列35. 标准化Prompt进行时！ DSPy论文串烧和代码示例

这一章我们先看看大火的DSPy框架，会先梳理DSPy相关的几篇核心论文了解下框架背后的设计思想和原理,然后以FinEval的单选题作为任务，从简单指令，COT指令，到采样Few-shot和优化指令给出代码示例和效果评估。

2024-10-26 11:41:41 540

原创吐血整理！！AI大模型面试必看的LLM RAG面试问题大全！不看后悔一辈子

总之，RAG证明了AI改变我们世界的无限潜力。它可以改善人类体验，并推动机器在自然语言理解方面所能达到的极限。它不仅仅是技术上的突破。无论您是为AI面试做准备，还是只是对AI未来的发展感兴趣，了解RAG都是一段值得的旅程。它将为您在人工智能这个激动人心的领域中带来新的和创造性的可能性。为了助力朋友们跳槽面试、升职加薪、职业困境，提高自己的技术，本文给大家整了一套涵盖AI大模型所有技术栈的快速学习方法和笔记。目前已经收到了七八个网友的反馈，说是面试问到了很多这里面的知识点。

2024-10-26 11:14:08 640

原创【大模型】一个简单程序看透 RAG 的核心原理，理解优化 RAG 的关键要点

通过这个简单的程序，我们不仅看到了 RAG 系统的完整实现，更重要的是理解了每个组件的作用和importance。特别是检索器的准确性，它直接决定了整个系统的表现。在实际应用中，除了选择合适的大语言模型，我们更应该关注如何提升检索的准确性，包括：优化文档的切分策略选择合适的 embedding 模型调整向量检索的参数改进相似度计算方法只有确保检索器能够准确找到相关文档，RAG 系统才能充分发挥其潜力，帮助大语言模型生成更准确的答案。

2024-10-25 15:19:22 711

原创 2024行业大模型调研：向AI而行，共筑新质生产力（附PDF）

近年来，大模型成为人工智能领域的最大热点。如何有效将大模型技术融入各行各业的实际应用，助力生产力革新和产业升级，成为业界越来越关注的核心问题，也促进了行业大模型的发展。2024年政府工作报告明确提出，要“深化大数据、人工智能等研发应用，开展‘人工智能+’行动，打造具有国际竞争力的数字产业集群”。腾讯研究院发布发布《向 AI 而行，共筑新质生产力——行业大模型调研报告》，深入探讨了行业大模型的发展现状、应用前景及未来趋势。

2024-10-25 10:56:43 351

原创 AI模型部署：Triton+Marker部署PDF转markdown服务

marker是github上一个一个基于Python语言实现的开源的项目，它基于多个OCR模型的组合流水线来完成PDF转Markdown的任务，模型包括ORC文字提取页面布局和阅读顺序识别分模块的清洗和格式化模型合并和后处理使用pip可以安装marker安装完之后在环境变量路径下会安装对应的转化工具marker_single。

2024-10-24 14:30:09 567

原创【万人疯抢】零基础也能掌握的AI大模型知识图谱×实战路线，你值得拥有！

随着人工智能技术的快速发展，大模型（Large Language Models, LLMs）已经成为当前AI领域的热门话题。无论你是完全没有接触过AI的初学者，还是有一定基础的技术爱好者，掌握大模型的相关知识都将为你打开一扇通往未来的大门。大模型是指基于大规模数据训练的深度学习模型，主要用于自然语言处理任务。这类模型通常包含数十亿甚至更多的参数，能够在多种任务上展现出卓越的性能，包括但不限于文本生成、问答、翻译等。模型结构。

2024-10-24 10:41:50 915

原创 AI模型部署：Triton+vLLM部署大模型Qwen-Chat实践

Triton是NVIDIA推出的模型推理服务器，vLLM是伯克利大学推出的大模型推理引擎。一般而言，Triton主要负责调度策略来提高服务的吞度，比如动态批处理、多实例并发等，配合TensorRT、ONNX等后端来联合使用，后者负责推理内核来降低延迟；而在Triton+vLLM的组合中，Triton不会做任何的调度处理，而是将请求全部打给vLLM，让vLLM根据PagedAttention和异步API自行处理请求，vLLM的调度策略更适配大语言模型decode场景的KV-Cache，提高GPU的利用率

2024-10-23 11:50:32 893

原创 AI赋能：产品经理的进阶之路，从入门到精通的AI大模型学习指南

对于产品经理而言，了解AI、关注AI只是第一步，更重要的是如何将AI技术应用到日常工作中，以提高工作效率。通过选择合适的工具、持续学习和实践应用，产品经理可以更好地利用AI技术，提升自己的工作能力和产品竞争力。

2024-10-23 10:54:57 817

原创搞懂这些AI大模型名词，你也能轻松入门！

大模型应用开发正在逐渐改变各个行业，但对技术小白来说，了解并掌握这些复杂的工具和概念非常重要。你是否觉得面对“LlamaIndex”、“Ollama”、“Anthropic”等术语无从下手？你是否在应用开发时被各种名词搞得晕头转向，不知道它们之间的区别与联系？我们将为你详细介绍这些关键概念，帮助你理清思路，从而更好地应用这些工具进行大模型开发。预告：下一篇计划将所有工具串联起来，以【柳星聊产品】为例搭建一个AI产品，敬请期待。01 大模型领域重要的名词LlamaIndex。

2024-10-22 15:13:19 572

原创 AI模型部署：Triton+TensorRT部署Bert文本向量化服务实践

在Triton+TensorRT的组合中，Triton是推理服务器，TensorRT是推理后端，两者都是NVIDIA推出的推理部署服务组件，Triton原名TensorRT Inference Server，是专供于TensorRT后端的推理服务器，由于TensorRT Inference Server支持的后端越来越多，因此其改名为Triton，Triton+TensorRT一直是NVIDIA主推的部署方式。

2024-10-22 09:55:19 837

原创 AI模型部署：Triton Inference Server部署ChatGLM3-6B实践

config.pbtxt搭建起了客户端和服务端的桥梁，下一步编辑自定义后端脚本model.py，它基于config.pbtxt中的约定抽取对应的数据进行推理逻辑的编写，model.py内容如下import osimport sysimport gcimport os。

2024-10-21 14:18:13 856

原创 86页PDF免费下载:（腾讯研究院）2024人工智能行业大模型调研报告

近年来，大模型成为人工智能领域的最大热点。如何有效将大模型技术融入各行各业的实际应用，助力生产力革新和产业升级，成为业界越来越关注的核心问题，也促进了行业大模型的发展。2024年政府工作报告明确提出，要“深化大数据、人工智能等研发应用，开展‘人工智能+’行动，打造具有国际竞争力的数字产业集群”。

2024-10-21 11:33:37 1271

原创 AI模型部署：Triton Inference Server模型推理核心特性和配置汇总实践

执行实例设置并发请求测试模型预热请求合并动态批处理因为这个行业不同于其他行业，知识体系实在是过于庞大，知识更新也非常快。作为一个普通人，无法全部学完，所以我们在提升技术的时候，首先需要明确一个目标，然后制定好完整的计划，同时找到好的学习方法，这样才能更快的提升自己。这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费。

2024-10-20 08:00:00 1023

原创 AI模型部署：一文搞定Triton Inference Server的常用基础配置和功能特性

数据维度配置数据类型配置模型状态管理模型版本管理服务端前处理服务端后处理执行实例设置和并发、模型预热、动态批处理

2024-10-19 10:25:55 953

原创 AI模型部署：Triton Inference Server模型部署框架简介和快速实践

Triton Inference Server简介Docker构建Triton Inference Server环境Triton Inference Server部署一个线性模型Triton Inference Server是一款开源的推理服务框架，它的核心库基于C++编写的，旨在在生产环境中提供快速且可扩展的AI推理能力，具有以下优势支持多种深度学习框架：包括PyTorch，Tensorflow，TensorRT，ONNX，OpenVINO等产出的模型文件至此多种机器学习框架。

2024-10-19 10:22:19 584

原创大模型开发 - 一文搞懂Fine-tuning（大模型微调）

本文将从Fine-tuning的本质、Fine-tuning的原理、Fine-tuning的应用三个方面，带您一文搞懂大模型微调：Fine-tuning。

2024-10-18 14:59:03 695

原创【AI大模型面经】腾讯实习AI大模型岗位 (已offer)，看完手撕面试官，非常详细收藏我这一篇就够了

学校情况：211本中9硕，本硕都是计算机科班，但研究方向并不是NLP，而是图表示学习论文情况：1A(NeurIPS)+1B(ICDM)已发表，另有1A刊在投，除此之外，还有1A会撰写中，所有论文均为一作实习情况：一段快手推荐算法实习奖学金情况：本硕国家奖学金。

2024-10-18 11:38:31 918

原创超全！一文详解大型语言模型的11种微调方法，看到就是赚到！

大型预训练模型是一种在大规模语料库上预先训练的深度学习模型，它们可以通过在大量无标注数据上进行训练来学习通用语言表示，并在各种下游任务中进行微调和迁移。随着模型参数规模的扩大，微调和推理阶段的资源消耗也在增加。针对这一挑战，可以通过优化模型结构和训练策略来降低资源消耗。

2024-10-17 14:48:16 818

原创自学AI大模型，一般人我劝你还是算了吧！！

近年来，随着人工智能技术的飞速发展，尤其是自2023年以来，AI大模型技术的迅速崛起，不仅在技术圈内引发了热议，更在市场上掀起了一股热潮。各大企业和机构纷纷加大对AI技术的研发投入，导致相关岗位的人才需求激增。然而，对于普通人来说，自学AI大模型并非易事。本文将探讨自学AI大模型的难度及其原因，并为有意学习的读者提供一些实用的建议。自学AI大模型并非易事，但只要有决心和毅力，普通人也能逐步掌握这一前沿技术。无论你是科研人员、工程师，还是对AI大模型感兴趣的爱好者，掌握相关技能都将为你提供宝贵的机会和启示。

2024-10-17 10:56:55 877

空空如也

空空如也