- 博客(64)
- 收藏
- 关注
RSS订阅原创 你们大模型面试是真不准备啊？背完这些，LLM大语言模型面试就稳了 （附面试文档）
求职者背景：计算机硕士，整个面试下来，从自我介绍、项目连环深挖、反问环节，回答的都很惊艳，反问环节也突出了对业务的兴趣。紧接着主要围绕项目进行9个问题的深问环节，主要考察对业务的理解、AIGC平台得介绍、AI应用场景创新的理解。4. 所以到的RAG插件、prompt插件、模型部署，这几个部分服务过程中，整体的业务流、数据流是怎样的？8. 如果超过了大模型上下文长度，如何让大模型记住之前的节点回复的内容？✅基本的大模型技术要掌握，尤其是幻觉的解决方式，整体平台的核心业务流，整体的业务场景。
2024-07-19 15:36:53
219
原创 LLM大模型系列：提示词管理
大模型应用需要一个针对产品级大型语言模型的高效管理系统。这一系统致力于精确处理输入至语言模型的各类查询与指令，其运作机制可类比于数字图书馆的管理体系，只不过这里的“藏书”换成了一个个精心设计的提示词。从抽象视角来看，提示词管理是一系列优化实践的集合，旨在提升应用程序中大模型对提示的处理能力。其核心在于实现提示词的版本控制，确保其与应用程序的核心代码及部署流程相分离，同时保证从请求的角度能够轻松追踪。
2024-07-19 15:35:02
679
原创 ai大模型：最清晰解读提示工程（Prompt Engineering）
Prompt提示是什么呢？Prompt提示是模型接收以生成响应或完成任务的初始文本输入。我们给AI一组Prompt输入，用于指导模型生成响应以执行任务。这个输入可以是一个问题、一段描述、一组关键词，或任何其他形式的文本，用于引导模型产生特定内容的响应。例如，在chatGPT中，用户通常使用 prompt 来与大语言模型进行交互，请求回答问题、生成文本、完成任务等。模型会根据提供的 prompt 来生成一个与之相关的文本，尽量符合用户的要求。
2024-07-19 15:29:52
886
原创 什么是大模型？一文读懂大模型的基本概念
1大模型是指具有大规模参数和复杂计算结构的机器学习模型。本文从大模型的基本概念出发，对大模型领域容易混淆的相关概念进行区分，并就大模型的发展历程、特点和分类、泛化与微调进行了详细解读，供大家在了解大模型基本知识的过程中起到一定参考作用。本文目录如下：· 大模型的定义· 大模型相关概念区分· 大模型的发展历程· 大模型的特点· 大模型的分类· 大模型的泛化与微调大模型是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成，拥有数十亿甚至数千亿个参数。
2024-07-18 19:59:22
608
原创 在RAG系统中应用知识图谱
对于复杂的 RAG 和多跳数据检索的一般场景，如下图所示, 关于RAG的更多信息可以参考《[大模型系列——解读RAG]》。
2024-07-18 17:39:30
575
原创 十分钟学会微调大语言模型
有同学给我留言说想知道怎么训练自己的大语言模型，让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂，不是我们业余玩家能搞的，如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力，可以进行微调训练。本文就来介绍一种大语言模型微调的方法，使用的工具是我最近在用的 Text Generation WebUI，它提供了一个训练LoRA的功能。
2024-07-18 14:47:54
692
原创 Mistral AI两连发：7B数学推理专用、Mamba2架构代码大模型
网友很好奇，Mathstral能不能搞定「9.11和9.9谁大」这一问题。前天，AI圈竟然被「9.11和9.9谁大」这样简单的问题攻陷了，包括OpenAI GPT-4o、Google Gemini等在内的大语言模型都翻了车。这让我们看到，大语言模型在处理一些数字问题时并不能像人类那样理解并给出正确的答案。对于数字以及复杂的数学问题，专用模型更术业有专攻。今天，法国大模型独角兽 Mistral AI 发布了一个，来解决需要复杂、多步骤逻辑推理的高级数学问题。
2024-07-18 09:25:38
1593
原创 如何利用大模型提高金融合规场景的工作效率？
针对挂号、住院、陪诊等服务，在首次致电收集需求、出号提醒等电话沟通场景，根据服务流程要求（客户需求、待办事项等），自动解析、生成结构化总结，提升后续服务环节的服务质量。
2024-07-17 17:01:42
830
原创 大模型算法岗常见面试题100道（值得收藏）
大模型LLM(Large Language Models) 通常采用基于Transformer的架构。Transformer模型由多个编码器或解码器层组成，每个层包含多头自注意力机制和前馈神经网络。这些层可以并行处理输入序列中的所有位置，捕获长距离依赖关系。大模型通常具有数十亿甚至数千亿个参数，可以处理大量的文本数据，并在各种NLP任务中表现出色。
2024-07-17 11:51:57
608
原创 LLM大模型-24年最新大语言模型新书！这本LLM大模型黑书你一定要学（附PDF）
1.1 Transformer 的生态系统1.2 使用Transformer 优化NLP模型1.3 我们应该使用哪些资源1.4 本章小结1.5 练习题8.1 文本到文本模型8.2 使用T5 进行文本摘要8.3 使用GPT-3 进行文本摘要8.4 本章小结8.5 练习题。
2024-07-17 09:39:58
806
原创 大模型书籍-从零开始大模型开发与微调：基于PyTorch与ChatGLM（附PDF）
哈喽各位，今天又来给大家分享大模型学习书籍了，今天是这本，大模型是深度学习自然语言处理皇+冠上的一颗明珠，也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch 2.0作为学习大模型的基本框架，以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术，为读者揭示大模型开发技术。
2024-07-16 17:04:52
517
原创 快速入门大模型应用开发，这本书帮你轻松实现！
如果问个问题：有哪些产品曾经创造了伟大的奇迹？ChatGPT 应该会当之无愧入选。仅仅发布 5 天，ChatGPT 就吸引了 100 万用户——当然，数据不是关键，关键是其背后的技术开启了新的 AI 狂潮，成为技术变革的点火器。就算我们这些周边吃瓜群众都日日活在 ChatGPT 带来的震撼里，更不用说在 AI 领域摸爬滚打的专家们了。有了 OpenAI API 和 ChatGPT，一切都变得不一样了！不需要什么高深的技术，只要懂一点 Python，就可以即刻动手开发自己的智能应用了！
2024-07-16 12:02:26
755
原创 产品经理与AI：共生与创新的未来
产品经理和人工智能（AI）之间的关系是现代技术发展中一个非常有趣且复杂的主题。随着AI技术在各个领域的应用日益广泛，产品经理的角色也正在经历着前所未有的变革。产品经理与人工智能：共生与创新的未来在当今数字化时代，人工智能（AI）已经成为推动各行各业创新和转型的关键力量。作为技术和商业策略的桥梁，产品经理的角色在AI时代显得尤为重要。本文将探讨产品经理与AI之间的关系，以及这种关系如何塑造未来的产品开发和市场策略。传统的产品经理主要负责定义产品愿景、规划产品路线图、协调跨职能团队以及确保产品满足市场需求。
2024-07-15 17:29:42
1132
原创 快速入门大模型应用开发，这本书帮你轻松实现！
如果问个问题：有哪些产品曾经创造了伟大的奇迹？ChatGPT 应该会当之无愧入选。仅仅发布 5 天，ChatGPT 就吸引了 100 万用户——当然，数据不是关键，关键是其背后的技术开启了新的 AI 狂潮，成为技术变革的点火器。就算我们这些周边吃瓜群众都日日活在 ChatGPT 带来的震撼里，更不用说在 AI 领域摸爬滚打的专家们了。有了 OpenAI API 和 ChatGPT，一切都变得不一样了！不需要什么高深的技术，只要懂一点 Python，就可以即刻动手开发自己的智能应用了！
2024-07-15 11:43:48
708
原创 全网爆火！学大模型必备的大模型黑书来了！内行人全都在学~ （附pdf）_大模型黑书pdf 百度云
1.1 Transformer 的生态系统1.2 使用Transformer 优化NLP模型1.3 我们应该使用哪些资源1.4 本章小结1.5 练习题8.1 文本到文本模型8.2 使用T5 进行文本摘要8.3 使用GPT-3 进行文本摘要8.4 本章小结8.5 练习题。
2024-07-15 10:59:49
1023
原创 LangChain v0.2：向稳定性迈进的一大步
LangChain v0.2：向稳定性迈进的一大步❝本文经翻译并二次整理自LangChain v0.2: A Leap Towards Stability一文。LangChain官方正式对外宣布了LangChain v0.2的预发布版本，这个版本在提升LangChain的稳定性和安全性方面迈出了重要一步。还记得四个月前我们发布的LangChain首个稳定版吗？今天，我们继续这一进步，带来了langchainv0.2的预发布版。这个新版本不仅在v0.1的基础上进行了改进，还吸纳了社区的反馈。
2024-07-13 18:03:17
1053
原创 【国内超大型智能算力中心建设白皮书 2024】_智算中心算力规划
文末有福利！智算中心建设通过领先的体系架构设计，以算力基建化为主体、以算法基建化为引领、以服务智件化为依托，以设施绿色化为支撑，从基建、硬件、软件、算法、服务等全环节开展关键技术落地与应用。一、体系架构（一）总体架构图8 智算中心总体架构智能算力中心建设白皮书，重点围绕基础、支撑、功能和目标四大部分，创新性地提出了智算中心总体架构。其中，基础部分是支撑智算中心建设与应用的先进人工智能理论和计算架构；支撑部分围绕智算中心算力生产、聚合、调度、释放的作业逻辑展开；功能部分提供算力生产供应、数据开放共享、智能生态
2024-07-13 11:54:24
783
原创 【超万卡GPU集群关键技术深度分析 2024】_构建10万卡gpu集群的技术挑战
文末有福利！1. 集群高能效计算技术随着大模型从千亿参数的自然语言模型向万亿参数的多模态模型升级演进，超万卡集群吸需全面提升底层计算能力。具体而言，包括增强单芯片能力、提升超节点计算能力、基于 DPU (Data Processing Unit) 实现多计算能力融合以及追求极致算力能效比。这些系统性的提升将共同支持更大规模的模型训练和推理任务，满足迅速增长的业务需求。1.1 单芯片能力超万卡集群中，单芯片能力包括单个 GPU 的计算性能和 GPU 显存的访问性能。在单个 GPU 计算性能方面,首先需要设计先
2024-07-13 09:30:27
398
原创 【科普神文，一次性讲透AI大模型的核心概念】
Transformer已经引领了各种尖端的AI应用程序的创建。除了支持像Bard和ChatGPT这样的聊天机器人之外,它还驱动我们移动键盘上的自动完成功能和智能扬声器中的语音识别。然而,它的真正威力在语言之外。它的发明者发现,transformer模型可以识别和预测任何重复的主题或模式。从图片中的像素,使用Dall-E、Midjourney和Stable Diffusion等工具,到计算机代码使用GitHub Copilot等生成器。它甚至可以预测音乐中的音符和蛋白质中的DNA来帮助设计药物分子。
2024-07-12 17:26:18
1064
原创 【超算、智算及数据中心行业研究报告 2024】
1、超算中心：大国高性能计算底座，新基建重要一环01 超级计算用于处理极端复杂或数据密集型问题• 超级计算，又称高性能计算 (HPC)，是计算科学的重要前沿分支，指利用并行工作的多台计算机系统（即超级计算机）的集中式计算资源，处理极端复杂或数据密集型问题。超算能力是衡量一个国家或地区科技核心竞争力和综合国力的重要标志。• 超算算力以每秒浮点运算次数衡量，一般以Petaflops（PFlops）为度量单位。01 新基建等政策驱动超算中心建设快速推进01 11家国家级超算中心概况。
2024-07-12 11:48:11
859
原创 【万亿赛道 ！低空经济产业发展深度分析 2024 ！】_低空经济的内涵、特征和运行模式
一、低空经济的概念内涵内涵和特征：低空经济作为战略性新兴产业和未来产业已上升为国家经济工作重点低空经济目前只有半官方定义，部分专家学者、研究机构、有关部门以及地方规划等均给出了各自的理解。
2024-07-12 09:37:31
1012
原创 【在大模型RAG系统中应用知识图谱】_rag知识挂载图示
对于复杂的 RAG 和多跳数据检索的一般场景，如下图所示, 关于RAG的更多信息可以参考《[大模型系列——解读RAG]》。
2024-07-11 17:33:39
878
原创 【一文带你了解RAG(检索增强生成) | 概念理论介绍+ 代码实操（含源码）】
RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成。它是一个为大模型提供外部知识源的概念，这使它们能够生成准确且符合上下文的答案，同时能够减少模型幻觉。
2024-07-11 11:51:38
235
原创 【新能源时代！看大模型（LLMs）如何助力汽车自动驾驶！】
青霉素发现之前，科学家们的研究方向是在无菌实验室中不断的试错，旨在希望通过传统的医学方法来解决复杂的问题。然而，一个偶然的事件却改变了事件的发展，苏格兰医生弗莱明忘记关闭培养皿，导致培养皿被霉菌污染。这时，弗莱明注意到了一些奇怪的事情：所有靠近水分的细菌都死了，而其他细菌则幸存下来。那么，
2024-07-11 09:09:06
419
原创 【向量数据库｜一文全面了解向量数据库的基本概念、原理、算法、选型】
本文主要介绍了向量数据库的原理和实现，包括向量数据库的基本概念、相似性搜索算法、相似性测量算法、过滤算法和向量数据库的选型等等。向量数据库是崭新的领域，目前大部分向量数据库公司的估值乘着 AI 和 GPT 的东风从而飞速的增长，但是在实际的业务场景中，目前向量数据库的应用场景还比较少，抛开浮躁的外衣，向量数据库的应用场景还需要开发者们和业务专家们去挖掘。
2024-07-10 18:19:55
939
原创 【解读大模型（LLM）的token】
在 LLM 中，token代表模型可以理解和生成的最小意义单位，是模型的基础单元。根据所使用的特定标记化方案，token可以表示单词、单词的一部分，甚至只表示字符。token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。一般地，token可以被看作是单词的片段，不会精确地从单词的开始或结束处分割，可以包括尾随空格以及子单词，甚至更大的语言单位。token作为原始文本数据和 LLM 可以使用的数字表示之间的桥梁。
2024-07-10 11:40:11
883
原创 【剑桥 | 发布多模态检索器，赋能多模态大模型RAG应用】
PreFLMR模型是一个通用的预训练多模态知识检索器，可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。尽管多模态大模型（例如 GPT4-Vision、Gemini 等）展现出了强大的通用图文理解能力，它们在回答需要专业知识的问题时表现依然不尽人意。
2024-07-10 09:16:30
682
原创 【基于大模型（LLM）的Agent 应用开发】
这里的Agent 指的是智能体，可以追溯到明斯基的《society of mind》一书。在那本书中，明斯基对Agent的定义有点抽象——“社会中某个个体经过协商后可求得问题的解,这个个体就是agent”。在计算机领域，agent是一种通过传感器感知其环境，并通过执行器作用于该环境的实体，因此，可以把实体定义为一种从感知序列到实体动作的映射。一般认为，Agent是指驻留在某一环境下，能持续自主地发挥作用，具备自主性、反应性、社会性、主动性等特征的计算实体。智能，是Agent 与环境相互作用的涌现属性。
2024-07-09 17:54:52
832
原创 【带你全面了解 RAG，深入探讨其核心范式、关键技术及未来趋势】
大型语言模型（LLMs）已经成为我们生活和工作的一部分，它们以惊人的多功能性和智能化改变了我们与信息的互动方式。然而，尽管它们的能力令人印象深刻，但它们并非无懈可击。这些模型可能会产生误导性的 “”，依赖的信息可能，处理特定知识时的深度洞察，同时在推理能力上也有所欠缺。在现实世界的应用中，数据需要不断更新以反映最新的发展，生成的内容必须是透明可追溯的，以便控制成本并保护数据隐私。因此，简单依赖于这些 “黑盒” 模型是不够的，我们需要更精细的解决方案来满足这些复杂的需求。
2024-07-09 12:12:42
1278
原创 【大模型系列——解读RAG】
RAG即检索增强生成，为 LLM 提供了从某些数据源检索到的信息，并基于此修正生成的答案。RAG 基本上是 Search + LLM 提示，可以通过大模型回答查询，并将搜索算法所找到的信息作为大模型的上下文。查询和检索到的上下文都会被注入到发送到 LLM 的提示语中。嵌入式搜索引擎可以通过 Faiss 来实现，向量搜索领域成为了RAG的一个助力。像pinecone 这样的向量数据库可以构建开源搜索索引，为输入文本增加了额外的存储空间，还增加了一些其他工具。关于向量数据库，可以参考解读向量数据库。
2024-07-09 09:19:59
1327
原创 【大模型实操 | LoRA、QLoRA微调大模型实战技巧分享，含常见QA解答！】
由于GPU内存的限制，在训练过程中更新整个模型权重成本很高。例如，假设有一个7B参数的语言模型，用一个权重矩阵W表示。在反向传播期间，模型需要学习一个ΔW矩阵，旨在更新原始权重，让损失函数值最小。权重更新如下：如果权重矩阵包含7B个参数，则权重更新矩阵也包含7B个参数，计算矩阵非常耗费计算和内存。由Edward Hu等人提出的LoRA将权重变化的部分分解为低秩表示。确切地说，它不需要显示计算。相反，LoRA在训练期间学习的分解表示，如下图所示，这就是LoRA节省计算资源的奥秘。
2024-07-08 17:28:12
611
原创 【大白话讲清楚：什么是 Langchain 及其核心概念】
想象一下，如果你能让聊天机器人不仅仅回答通用问题，还能从你自己的数据库或文件中提取信息，并根据这些信息执行具体操作，比如发邮件，那会是什么情况？Langchain 正是为了实现这一目标而诞生的。Langchain 是一个开源框架，它允许开发人员将像 GPT-4 这样的大型语言模型与外部的计算和数据源结合起来。目前，它提供了 Python 和 JavaScript（确切地说是 TypeScript）的软件包。上图展示了Langchain的工作原理，这是一个用于提升大型语言模型（LLMs）功能的框架。
2024-07-08 11:54:51
893
原创 【 2024！深入了解 大语言模型（LLM）微调方法（总结）】
众所周知，大语言模型(LLM)正在飞速发展，各行业都有了自己的大模型。其中，大模型微调技术在此过程中起到了非常关键的作用，它提升了模型的生成效率和适应性，使其能够在多样化的应用场景中发挥更大的价值。那么，今天这篇文章就带大家深入了解大模型微调。其中主要包括什么是大模型微调、什么时候需要大模型微调、大模型微调方法总结、大模型微调最佳实践等。在介绍大模型微调方法之前，首先带大家了解一下大语言模型的项目生命周期，它大致可以分为以下几个步骤，如下图所示：首先，明确项目目标。
2024-07-08 09:23:52
727
原创 【新能源时代！看大模型（LLMs）如何助力汽车自动驾驶！】
因为，ChatGPT出现才不到一年半的时间，现在的大模型已经可以实现视频生成（例如Sora）、音乐生成（例如：Stable Audio 2.0、Prompt-Singer等），且效果惊人，未来的自动驾驶大模型也将会乘风破浪，成为自动驾驶的主流核心技术。本文主要介绍大模型(LLMs)如何助力汽车自动驾驶，简单来说，作者首先带大家了解大模型的工作模式，然后介绍了自动驾驶大模型的3大应用场景，最后指出自动驾驶大模型将会是未来的发展趋势，只要坚持，国内新能源造车新势力还是很有机会的。那么什么是Token呢？
2024-07-05 12:11:02
1135
原创 【企业级 AI大模型部署白皮书 2024】
01 2023年，大模型元年，这一次真正撼动了人类中国大模型的发展呈现出蓬勃生机，形成了多元共进、创新竞发的活跃态势AI大模型发展关键节点LLM开启的生成式人工智能到底可以解决什么问题，与之前相比，进化在哪儿？企业由数字化阶段迈入智能化阶段，AI能力成为企业核心能力核心观点：智能化是互联网化、数字化的延伸而不是颠覆，演进过程中，技术的价值从过程逐步向结果转移；未来企业，组织形态将会被重构，组织边界模糊，组织结构灵活机动，以AI为核心重新定义；企业的AI能力（含“AI”量）成为核心能力。
2024-07-05 09:45:43
882
原创 【GPU虚拟化到池化技术深度分析 2024】
随着大模型的兴起，对GPU算力的需求越来越多，而当前现实情况使企业往往受限于有限的GPU卡资源，即便进行了虚拟化，往往也难以充分使用GPU卡资源或持续使用资源。为解决GPU算力资源不均衡等问题，同时支持GPU算力的国产化替代，提升GPU资源的利用率，GPU算力池化需求迫在眉睫。
2024-06-30 14:25:26
1008
原创 【科普神文，一次性讲透AI大模型的核心概念】
Transformer已经引领了各种尖端的AI应用程序的创建。除了支持像Bard和ChatGPT这样的聊天机器人之外,它还驱动我们移动键盘上的自动完成功能和智能扬声器中的语音识别。然而,它的真正威力在语言之外。它的发明者发现,transformer模型可以识别和预测任何重复的主题或模式。从图片中的像素,使用Dall-E、Midjourney和Stable Diffusion等工具,到计算机代码使用GitHub Copilot等生成器。它甚至可以预测音乐中的音符和蛋白质中的DNA来帮助设计药物分子。
2024-06-29 19:41:30
869
原创 AI产品经理—2024年最火职业，稳定还能挣高薪！
在21世纪第三个十年的中期，职场环境正经历着前所未有的变革，技术的飞速进步与全球市场的快速迭代，让职业选择成为一个需要深思熟虑的决定。对于那些渴望在稳定与高薪之间找到完美平衡点的求职者而言，选对赛道至关重要。而在众多新兴职业中，AI产品经理以其独特的魅力，成为了2024年最火的职业之一，不仅展现了强劲的发展势头，还为从业者提供了可观的薪酬回报和相对宽松的竞争环境。
2024-06-12 17:18:46
908
原创 将生成式预训练Transformer应用于文本分类：实现高效文本处理的创新应用
随着自然语言处理技术的快速发展,文本分类任务也逐渐成为了自然语言处理领域中的一个热门研究方向。文本分类问题是指根据给定的文本内容,将其分类到预定义的类别中。本文将介绍一种基于生成式预训练Transformer的文本分类方法,实现高效文本处理的创新应用。
2024-06-12 13:43:12
947
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人