- 博客(448)
- 收藏
- 关注
RSS订阅原创 阿里云 AI 搜索 RAG 大模型优化实践
大模型在总结和推理时的准确率必须高。RAG 架构 -⼤模型优化在大模型应用的优化方面，我想分享我们所做的一些工作。首先，在文档解析方面，我们进行了文档层级结构的抽取，目的是将文档结构化，这样不仅可以提高切片的效率，还能帮助大模型更好地理解文档内容。其次，为了提高大模型回答的质量，我们对模型进行了微调。我们选择的是一个相对较小的模型，这样不仅能够保证较快的处理速度，而且在效果上也能与更大参数量的模型相媲美。
2024-11-04 11:40:27
330
原创 RAG技术详解：构建高效、可信赖的知识检索系统
幻觉：在没有答案的情况下提供虚假信息。过时：当用户需要特定的当前响应时，提供过时或通用的信息。来源：从非权威来源创建响应。由于术语混淆，不同的培训来源使用相同的术语来谈论不同的事情，因此会产生不准确的响应。RAG 是解决其中一些挑战的一种方法。它会重定向 LLM，从权威的、预先确定的知识来源中检索相关信息。组织可以更好地控制生成的文本输出，并且用户可以深入了解 LLM 如何生成响应。
2024-11-04 11:37:20
550
原创 如何通过Coze平台创建属于自己的Agent
了解了如何在Coze平台上创建AI Agent，发现它对我们个人（C端用户）而言十分有用，分享给你一下。Coze（扣子）是字节跳动公司开发的新一代AI应用开发平台，使用这个AI应用开发平台，无论你是否有编码基础，都可以快速搭建基于大语言模型的各类AI Bot，还可以将Bot发布到其他渠道。对于一个AI Agent而言，最重要的能力就是任务规划、调用工具、知识库 和 记忆能力，而这些能力在Coze中你都不需要关注，已经封装好了提供给你，对你而言就是透明的。
2024-11-01 10:55:18
844
原创 量化挑战下的创新，LayerNorm 计算方法提升 LLMs推理性能 ！
随着大型语言模型（LLMs）参数的不断增加，数百亿甚至数千亿参数，对专用硬件加速器制造商产生了巨大压力，使后者的创新设计成为人工智能行业中发展最快的领域之一。为了在计算和存储有限的情况下有效且准确地处理LLMs，已经探索了各种方法。在这些方法中，各种量化技术已成为社区的主要焦点，作为减少计算、通信和存储需求的一种手段。降低精度自然带来许多挑战，因为可用值表示的范围有限。在处理硬件上的流行Transformer模型时，一个主要问题是计算LayerNorm，因为累积方差需要比硬件允许的更宽的动态范围。
2024-10-29 10:54:56
824
原创 小米大模型岗离职了，聊一下现在的面试....
之前总有小伙伴问我怎么进的小米，其实学历经验是一方面吧，你要对现在的面试环境足够了解你才能针对性的去准备面试，我的话当过面试者也做过面试官，现在面试问的差不多也就这些，如果有需要的可以把我之前当面试官面的题拿去多看看，所有题都有对应答案，希望对你们面试有所帮助吧
2024-10-28 21:04:54
959
原创 手把手教你从头训练大语言模型，实战经验分享！！
自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。豁然开朗：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了…尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。Reasoning兴趣：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。保研季忙碌。
2024-10-25 10:58:58
622
原创 多轮对话与多意图处理：智能客服中的AI应用揭秘
在电信智能客服中，意图识别的目标是将用户的自然语言输入（例如“我想查话费”或“如何更改套餐”）分类为具体的任务或操作。这些任务可能是：查询话费余额更改套餐投诉网络问题充值每个任务或操作对应的就是一个“意图”，而意图识别则是为了将自然语言的输入自动分类到这些任务中。
2024-10-25 10:55:08
838
原创 太绝了，这本Ai大门的敲门砖！！住
这本书旨在帮助读者深入理解生成式AI的工作原理，并掌握实际应用这些技术的技能。生成式AI就算玩出花，目前就是生成文本、生成图像、生成声音，这本书竟然一次性把这些模型讲完了，包括tranformer和diffusion, 文中有图有文有代码，我亲测代码可跑性很高！！！而且篇幅短，由总到分的讲解模型的每一个部分，结构性可读性很强果想快速学习生成式AI的模型，这本书一定要成为你的第一本书。
2024-10-24 11:59:43
630
原创 Ai提示词不会写，看这一篇就够了！（附：套用模板）
如果你已探索过豆包Ai、Kimi、智谱清言等生成式AI工具，那么你对“prompt”（提示词）这一核心概念一定有自己的认知和理解。这里所谓的提示词，其实就是人和AI交互时的输入，是连接你与AI创意源泉的桥梁，“prompt”不仅是触发无限想象的钥匙，更是塑造AI输出内容品质的灵魂所在。它可以是一个问题，也可以是一段描述性的指示，生成式AI可以根据你的指示或者问题，输出你期望的内容。本文就结合小编在使用这些工具时的体验和感悟，和大家聊聊如何写好提示词，以便更好地提升我们和AI交互的效率。一。
2024-10-24 11:13:48
2033
原创 值得细读的8个视觉大模型生成式预训练方法
大语言模型的进展催生出了ChatGPT这样的应用，让大家对“第四次工业革命”和“AGI”的来临有了一些期待，也作为部分原因共同造就了美股2023年的繁荣。LLM和视觉的结合也越来越多：比如把LLM作为一种通用的接口，把视觉特征序列作为文本序列的PrefixToken，一起作为LLM的输入，得到图片或者视频的caption；也有把LLM和图片生成模型、视频生成模型结合的工作，以更好控制生成的内容。
2024-10-23 10:02:57
941
原创 大模型应用方向与大分类，普通人从哪里入局？
通用大模型是基于海量数据进行训练的人工智能模型。这些数据来源广泛，涵盖了各种领域、主题和类型的信息。通过对大量数据的学习，模型能够掌握不同领域的知识和模式，从而具有良好的泛化能力，可以应用到多种不同的下游任务中，而不仅仅局限于特定的任务或领域。
2024-10-23 09:56:13
987
原创 DB-GPT V0.6.1 版本更新：RAG 能力更强，新增 RAG 召回和 Agent 答案评测功能
回顾上个版本（DB-GPT 0.6.0），GraphRAG实现图社区摘要和混合检索的功能，解决了面向总结性查询（QFS）的问题。这次我们依据标准格式文件（目前对 Markdown 文件支持最好）中章节段落的层级信息，将文件结构组织为有向图，并写入到知识图谱（基于TuGraph底座）。图中的节点可以是文件的一个分片（chunk），边则代表了不同切分（chunk）之间在原文档中的结构关系。（三元组结构：entity -[relation]-> entity；
2024-10-22 11:13:03
967
原创 RAG总结及前沿之Meta-Chunking切分思路及VisRAG多模态实现机制解读
本文主要介绍了两个工作，一个是知识图谱用于RAG查询扩展的思路，属于知识图谱与RAG的结合范畴，一个是关于RAG发展的一个阶段性综述，提到的几个演化的点和未来的方向，值得看看。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。
2024-10-22 11:08:00
1065
原创 解锁未来：转型AI产品经理的必修指南
这个日新月异的智能时代，人工智能（AI）已经从未来概念转变为推动各行各业发展的核心驱动力。作为连接技术与市场的桥梁，AI产品经理的角色愈发关键，他们不仅是技术的翻译者，更是创新的推动者。如果你正站在转型的十字路口，渴望踏入AI产品经理的行列，那么请跟随这篇指南，开启你的转型之旅。
2024-10-21 11:28:06
1197
原创 打造自己的RAG解析大模型：(可商用)智能文档分析解决方案！
近日，百度发布了PP-ChatOCRv3，基于数据融合技术，提供了OCR模型的二次开发功能，大幅提升了模型的微调能力。该技术将百万级高质量的通用OCR数据与垂直领域的模型训练数据按特定比例融合，解决了传统行业模型训练过程中，通用文本识别能力减弱的难题。这一突破性技术在自动化办公、金融风控、医疗健康等多个行业场景中都有广泛的应用潜力。
2024-10-21 09:50:52
844
原创 CodeFree | 提效50%+！如何5分钟速成Prompt工程师
如今AI技术迅猛发展，让我们看到了未来的无限可能，而Prompt（提示词）则是指导AI行动的核心工具。为此，我们特别推出本期内容，通过详细的实战指南，手把手带你理解、设计及使用Prompt，助你成长为一名资深的Prompt工程师！
2024-10-19 10:15:00
1398
原创 逆天20w赞！吴恩达+Open AI打造《大模型通关指南》
LM（Large Language Models）正在逐步改变人们的生活，对于开发者来说，如何利用LLM提供的API快速、便捷地开发具备更强大能力、集成LLM的应用程序，以实现更新颖、更实用的功能，是一项急需学习的重要技能。吴恩达老师与OpenAI合作推出的大模型系列教程，从大模型时代开发者的基础技能出发，深入浅出地介绍了如何基于大模型API和LangChain架构快速开发结合大模型强大能力的应用。
2024-10-18 11:36:53
811
原创 大模型微调数据随意选择会更有效？兼看渐进式检索FunnelRAG实现思路
本文主要讲了两个工作，关于大模型数据工程，在大规模数据集上进行监督微调（SFT）时数据选择的方法，发现随机选择几乎总是优于现有的数据选择技术。一个是关于RAG进展， FunnelRAG：从粗糙到精细的渐进检索范式，实际上，这个其实有偏置，如果涉及到动态更新，聚类的数量，性能这些都会带来其他影响。为了实现有效的检索，需要手工调整一些超参数，如最大聚类大小和每个阶段的候选项数量。这增加了系统的复杂性，并且可能需要专业知识来优化这些参数。
2024-10-17 11:12:51
672
原创 如何从头训练大语言模型: A simple technical report
自8月底训好自己的1.5B的LLM后，一直都没有发布一个完整的技术报告，不少小伙伴私信我催更，千呼万唤始出来。豁然开朗：搞定全流程之后，对LLM确实豁然开朗不少，不过，发现要学的新东西更多了…尤其是这三个月，qwen, meta, anthropic等等发布的好文章实在太多了，真不想落下，没时间"反刍"当年的剩饭。Reasoning兴趣：对reasoning更感兴趣了(其实训1.5B模型的初衷，就是为了给将来从pretrain开始做reason的增强打基础)。保研季忙碌。
2024-10-17 11:10:30
845
原创 一文告诉你大模型学习路径
主要面向工程学习，分为四个章节，各个章节的学习目标如下。深入探索大语言模型的基础知识与常见术语学会使用编程语言轻松访问OpenAI API等常见大语言模型接口解锁机器学习、神经网络、NLP的奥秘洞悉Transformer以及典型的Decoder-Only语言模型的基础结构和运作原理追溯大语言模型的发展历史，紧跟业界主流模型（含开源模型）的最新进展在本地环境搭建开源模型的推理环境，让技术落地学习Prompt工程，让模型更懂你的需求使用已有框架（如Dify、LangChain）或自主开发，结合大语言模型结果，开
2024-10-16 11:58:31
1392
原创 本地运行大语言模型？这6个工具居然没人推荐
你是否担心将数据上传到AI云服务时的隐私问题？想要在不联网的情况下运行像ChatGPT或Claude这样的语言模型？这篇文章将为你介绍六种可以本地运行大语言模型（LLM）的工具，帮助你在确保隐私的同时，利用强大的AI技术处理日常工作。
2024-10-16 10:24:47
391
原创 搞懂这些AI大模型名词，你也能轻松入门！
大模型应用开发正在逐渐改变各个行业，但对技术小白来说，了解并掌握这些复杂的工具和概念非常重要。你是否觉得面对“LlamaIndex”、“Ollama”、“Anthropic”等术语无从下手？你是否在应用开发时被各种名词搞得晕头转向，不知道它们之间的区别与联系？我们将为你详细介绍这些关键概念，帮助你理清思路，从而更好地应用这些工具进行大模型开发。
2024-10-15 11:13:53
649
原创 不愧是大模型神书，我要推荐一万次！-复旦张奇教授团队开源免费书《大规模语言模型：理论与实践》
《大规模语言模型：从理论到实践》详细介绍了构建大语言模型的四个主要阶段：预训练、有监督微调、奖励建模和强化学习。每个阶段都有算法、代码、数据、难点及实践经验的详细讨论。以大语言模型的基础理论开篇，探讨了大语言模型预训练数据的构建方法，以及大语言模型如何理解并服从人类指令，介绍了大语言模型的应用和评估方法，为读者提供了更全面的视野。旨在为对大语言模型感兴趣的读者提供入门指南，也可作为高年级本科生和研究生自然语言处理相关课程的补充教材。
2024-10-15 11:08:19
851
原创 你对大模型认知的开始——大模型的能力问题
在此之前，一直不知道该怎么准确表达大模型，虽然一直在学习和使用大模型，但很多时候很难一句话说明白什么是大模型，也很难说明白大模型能干什么。但在昨天想问题的过程中，脑子里突然冒出一个词——能力，大模型的能力。总之一句话，大模型能做什么，不能做什么就是大模型的能力问题。
2024-10-14 11:31:49
686
原创 再看长文本大模型遇见RAG：长输入的RAG方案挑战及其缓解实证分析
关于RAG长文本进展，长文本LLMs与RAG相遇：解决长输入的RAG挑战，系统中使用长上下文大型语言模型（Long-Context LLMs）所面临的挑战。：研究发现，对于许多长上下文LLMs，随着。这与之前的观点相反，即认为更大的检索集会包含更多相关信息，可能会提高性能。：论文识别出检索到的“难负例”（hard negatives）对LLMs生成性能的有害影响，并提出这是性能下降的一个关键因素。**这个报告还不错，看看会有收获，**供大家参考并思考。
2024-10-14 11:29:50
544
原创 NLP入门该看什么书？2024必读NLP书籍！《自然语言处理：基于预训练模型的方法》，快来学起来吧！】
本书内容分为三部分：基础知识、预训练词向量和预训练模型。第1部分：基础知识。包括第2～4 章，主要介绍自然语言处理和深度学习的基础知识、基本工具集和常用数据集。第2部分：预训练词向量。包括第5、6 章，主要介绍静态词向量和动态词向量两种词向量的预训练方法及应用。第3部分：预训练模型。包括第7～9 章，首先介绍几种典型的预训练语言模型及应用，其次介绍目前预训练语言模型的最新进展及融入更多模态的预训练模型。
2024-10-12 15:00:47
770
原创 大模型ReAct框架——打造AI Agent的代码实现——基于LLM + Function Call构建Agent
AI Agent也就是AI智能体，是通过把大模型作为“大脑”，通过利用大模型的推理和规划能力，然后调用外部工具来完成复杂任务的一种方式。简单来说，Agent就是一种让大模型自己思考和分析问题，选择合适的工具，最终解决问题的一种方法，其背后原理就来自于ReAct。
2024-10-12 11:38:40
1088
原创 增强AI查询：使用Rewrite Retrieve Read框架优化RAG
在大规模语言模型（LLM）中，通过查询重写来提升检索增强生成（RAG）的性能是一个热门研究领域。本文将介绍如何使用rewrite_retrieve_read模板来优化RAG，为开发者提供实用的指南。
2024-10-11 15:15:00
943
原创 想高薪！普通人转行做AI，试试这5步！
这五步，听起来简单，但是实施起来却需要非常大的决心和毅力。但是，只要你愿意付出努力，转行成为AI领域的佼佼者，绝对不是梦！在大模型时代，我们如何有效的去学习大模型？现如今大模型岗位需求越来越大，但是相关岗位人才难求，薪资持续走高，AI运营薪资平均值约18457元，AI工程师薪资平均值约37336元，大模型算法薪资平均值约39607元。掌握大模型技术你还能拥有更多可能性• 成为一名全栈大模型工程师，包括Prompt，LangChain，LoRA等技术开发、运营、产品等方向全栈工程；
2024-10-11 11:46:08
1114
原创 大模型面经之llama3训练如何保证数据质量
本篇将介绍llama3模型训练的数据质量控制方法：对训练数据进行筛选，排除包含个人信息、有害内容和成人内容的文本。：使用HTML解析器提取文本、代码和数学公式，同时去除markdown标签，保留HTML中的alt标签。：通过n-gram覆盖比检测重复内容，使用定义的“脏词”过滤成人内容，通过token分布的KL距离检测异常符号。：使用多种模型评估文档质量，如Llama2-chat和DistilledRobera。
2024-10-10 10:08:28
831
原创 本地运行LLama 3.2的三种方法
大型语言模型（LLMs）已经彻底改变了AI领域，小型模型也在崛起。因此，即使是在旧的PC和智能手机上运行先进的LLMs也成为了可能。为了给大家一个起点，我们将探索三种不同的方法来本地与LLama 3.2进行交互。
2024-10-10 10:05:20
798
原创 其实普本也可以正确入行AI产品经理❗️
AI产品经理作为近几年新兴的岗位，受到了很多同学的追捧。常见的困惑：我是非技术出身，可以做AI产品经理吗？我是文科/商科生，对AI很感兴趣，需要学习什么才能入门？
2024-10-09 10:36:09
1055
原创 图解 Transformer（超详细完整版）
图解 Transformer，高层视角我们首先从将模型看作一个整体的黑箱开始。在机器翻译的应用中，Transformer 接受一种语言的句子作为输入，并输出翻译后的另一种语言的句子。
2024-10-09 10:23:58
1705
原创 使用Nest.js+LangChain给低代码平台赋上AI代码生成能力，让低代码变成低低代码！
LangChain是一个用于开发由大型语言模型（LLM）支持的应用程序的框架。可以快速使用它集成各个模型，以及格式化用户输入和模型输出，封装了很多工具类，使得开发者很容易将其集成到自己的程序当中。我目前提交了十几个PR了，在开发贡献过程中，我越发感觉低代码和AI应该要结合起来，让低代码更低，更加摆脱代码书写，这才是低代码平台的灵魂所在。刚刚说到，基本上市面上的大模型LangChain都支持，但是由于科学原因，国外的模型并不能很愉快的使用，这里我也经过测试，智谱的GLM。
2024-10-08 17:15:00
990
原创 真心建议迷茫想转行的可以冲一冲AI赛道
真的建议！对于那些想转行，正处在人生十字路口、感觉有点迷糊的朋友，我强烈推荐考虑往AI这条路走走看！很多人都觉得，自己年龄也慢慢上来了，又没有其他的工作经验，只能得过且过，并且对于尝试新领域会非常谨慎，有时候还会陷入迷茫。但实际上，这个年纪恰恰是你能够利用已有的工作经验，或者学点新东西，在一个全新的地盘上大展拳脚的好时机。首先，得弄清楚自己心里怎么想的，定个新目标，然后全力以赴去追。现在这年头，人工智能（AI）绝对是个前景无限的领域，不少机灵的人都在往这儿靠拢，你也不妨试试水，别错过这趟发展的快车哦！
2024-10-08 11:22:55
899
原创 【新进展】如何更智慧地让大语言模型使用外部数据？
本文的主旨是全面介绍并探讨“检索增强生成”（Retrieval-Augmented Generation，RAG）及其扩展在LLM中的应用与挑战。随着LLM在不同领域中展现出非凡的潜力，如何有效地利用外部数据来提升这些模型的性能成为了一个关键问题。RAG通过引入外部数据，不仅能够补充模型的领域知识，还能增强其时效性和专业性，减少“幻觉”的产生。然而，尽管RAG方法在某些应用中展现出优势，如何在不同领域中实现其高效应用仍面临着诸多挑战。
2024-10-07 10:09:52
1036
原创 如何搭建基于大模型的智能知识库
基于RAG与LLM的知识库作为目前最有潜力的企业端大模型应用之一，从技术角度可以看到，建设方案已经完备；从业务角度，最终的应用效果和业务价值还需要观察，并通过业务侧的反馈不断地促进建设方案的进一步优化，比如增加对多模态知识的处理能力等。让我们共同期待这类应用普及那一天的到来。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
2024-10-07 10:08:11
1252
原创 原来大模型训练实战，是需要这些项目！！
去年侧重大模型和GPT的原理，今年就侧重项目实战了。找到的这个合集不仅收集了大模型训练实战，还有微调实战，分布式训练，真的很全。下面汇总了我在大模型实践中训练相关的所有教程。从6B到65B，从全量微调到高效微调(LORA，QLORA，P-Tuningv2)，再到RLHF(基于人工反馈的强化学习)。
2024-10-06 11:22:22
850
原创 Graphiti：如何让构建知识图谱变得更快、更具动态性?
Graphiti 是一个用于构建和查询动态、时间感知的知识图谱的 Python 库。它可以用于建模复杂、不断演变的数据集，并确保 AI 智能体能够访问它们完成非平凡任务所需的数据。它是一个强大的工具，可以作为许多复杂 RAG 项目的数据库和检索层。构建 Graphiti 是一个充满挑战的过程。本文将讨论我们的设计决策、提示词工程的演变以及扩展基于大语言模型的信息提取的各种方法。这篇文章是我们探索构建 Graphiti 过程中遇到挑战的系列文章的开篇。阅读本文将加深您对 Graphiti 库的理解，并为未
2024-10-06 11:09:56
753
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人