- 博客(216)
- 收藏
- 关注
RSS订阅
原创 【NLP百面百过】史上最全大模型（LLMs）面试题系列：帮你彻底搞定Transformer-干货！
基于Sinusoidal的位置编码最初是由谷歌在论文Attention is All You Need中提出的方案，用于Transformer的位置编码。具体计算方式如下所示：其中pos是位置，i表示维度。具有相对位置表达能力：Sinusoidal可以学习到相对位置，对于固定位置距离的k，PE(i+k)可以表示成PE(i)的线性函数。两个位置向量的内积只和相对位置 k 有关。Sinusoidal编码具有对称性。,即，这表明Sinusoidal编码具有对称性。
2025-02-08 13:44:47
1656
原创 【模型部署】vLLM 部署 Qwen2-VL 踩坑记 01 - 环境安装
为了服务全球用户，除英语和中文外，Qwen2-VL 现在还支持理解图像中的多语言文本，包括大多数欧洲语言、日语、韩语、阿拉伯语、越南语等。：Qwen2-VL 在 MathVista、DocVQA、RealWorldQA、MTVQA 等视觉理解基准测试中取得了全球领先的表现。：借助复杂推理和决策的能力，Qwen2-VL 可集成到手机、机器人等设备，根据视觉环境和文字指令进行自动操作。介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验。
2024-11-17 21:31:19
1124
原创 AIGC时代大模型信息安全隐私保护技术方案
因为采用了全标签替换的方法，导致其对原始文本中提示词的语言表达能力较弱，这可能对云端的大型语言模型的性能产生负面影响。然而这种传统的匿名化处理方法无法在LLM生成的结果中还原出被替换的隐私敏感信息，从而限制了其可用性及准确性。使用构造的匿名化数据训练小的隐藏模型（Hide-Model）：基于第一步标注的数据，使用lora或qlora方法基于bloomz来微调得到Hide Model。可以看到，原始输入中的敏感信息在送到大模型之前进行了脱敏处理，在大模型处理后，被脱敏替换的内容又被还原成了原始信息。
2024-09-28 20:59:54
1755
2
原创 一起学Spring AI：Chat Client API
ChatClient API 为与AI模型交互提供了流畅的编程接口，支持同步和流式调用。通过Prompt构建提示信息，包含用户输入和系统指令，并可通过占位符动态替换内容。API支持多种响应格式（字符串、ChatResponse、实体对象等）和流式处理。开发者可通过@Configuration设置默认参数（如系统消息、模型选项），并使用Advisor机制增强交互（如检索增强生成、对话记忆、日志记录）。该API简化了AI模型集成，同时提供灵活的参数配置和响应处理能力。
2025-06-05 07:30:00
984
原创 一起学Spring AI：快速入门指南
SpringAI快速入门指南摘要：本文介绍了如何快速上手使用SpringAI框架。SpringAI支持Spring Boot 3.2.x和3.3.x版本，可通过Spring Initializr创建项目时选择AI模型和向量存储。为使用里程碑和快照版本，需在Maven或Gradle配置中添加相应仓库。推荐通过SpringAI BOM（材料清单）进行依赖管理，确保版本兼容性。文档还提供了各类AI组件（如聊天模型、图像生成等）的依赖配置说明，并推荐了几个示例项目，包括航班预订助手系统及OpenAI/Azure O
2025-06-04 20:00:00
338
原创 一起学Spring AI：核心概念
SpringAI的核心概念解析：人工智能模型是算法系统，通过预训练处理多模态输入（文本/图像/音频）并生成智能输出。关键组件包括：1）提示工程（Prompt）作为输入指令，需配合模板（PromptTemplate）动态生成；2）嵌入（Embeddings）将内容转化为向量进行语义匹配；3）标记（Tokens）作为计费单位决定处理成本；4）结构化输出转换将文本响应转为可用数据结构。特色功能包含检索增强生成（RAG）实现外部数据整合，以及函数调用（Function Calling）连接外部API。系统还提供响应
2025-06-04 14:51:11
1342
1
原创 【动手学大模型开发 22】LLM评估及生成质量优化
这样的思路其实就是目前大火的 Agent 机制的雏形，即针对用户指令，设置一个 LLM（即 Agent）来理解指令，判断指令需要执行什么工具，再针对性调用需要执行的工具，其中每一个工具可以是基于不同 Prompt Engineering 的 LLM，也可以是例如数据库、API 等。那么，如何能够评估并优化检索部分的性能呢？可以看到，针对我们关于 LLM 课程的提问，模型回答确实详细具体，也充分参考了课程内容，但回答使用首先、其次等词开头，同时将整体答案分成了4段，导致答案不是特别重点清晰，不容易阅读。
2025-05-10 14:30:00
1508
原创 【动手学大模型开发 21】如何评估 LLM 应用
因此，我们需要采用自动评估的方法，自动评估系统对每一个验证案例的输出质量，从而评估系统的整体性能。但是，我们可以看到，越全面、具体的评估，其评估难度、评估成本就越大。但当我们的系统不断改进迭代，验证集会迅速扩大，一般来说，一个成熟的系统验证集应该至少在几百的体量，迭代改进版本至少有数十个，那么我们评估的总次数会达到上万次，带来的人力成本与时间成本就很高了。但是，在牺牲一定评估准确性的情况下，我们可以将复杂的没有标准答案的主观题进行转化，从而变成有标准答案的问题，进而通过简单的自动评估来实现。
2025-05-10 07:30:00
613
原创 【动手学大模型开发 20】使用 Streamlit 部署大模型 RAG应用
和常规 Web 框架，如 Flask/Django 的不同之处在于，它不需要你去编写任何客户端代码（HTML/CSS/JS），只需要编写普通的 Python 模块，就可以在很短的时间内创建美观并具备高度交互性的界面，从而快速生成数据分析或者机器学习的结果；st.selectbox()、st.multiselect()、st.slider()、st.text_input()：用于添加交互式小部件，允许用户在应用程序中进行选择、输入或滑动操作。来存储对话历史，可以在用户与应用程序交互时保留整个对话的上下文。
2025-05-09 15:30:00
1051
原创 【动手学大模型开发 19】使用LangChian添加历史对话的记忆功能
现在我们已经实现了通过上传本地知识文档，然后将他们保存到向量知识库，通过将查询问题与向量知识库的召回结果进行结合输入到 LLM 中，我们就得到了一个相比于直接让 LLM 回答要好得多的结果。关于更多的 Memory 的使用，包括保留指定对话轮数、保存指定 token 数量、保存历史对话的总结摘要等内容，请参考 langchain 的 Memory 部分的相关文档。在本节中我们将介绍 LangChain 中的储存模块，即如何将先前的对话嵌入到语言模型中的，使其具有连续对话的能力。这个问题该如何解决呢？
2025-05-09 07:00:00
367
原创 【动手学大模型开发 18】使用LangChian构建检索问答链(RAG)
在之前的章节，我们已经介绍了如何根据自己的本地知识文档，搭建一个向量知识库。在接下来的内容里，我们将使用搭建好的向量数据库，对 query 查询问题进行召回，并将召回结果和 query 结合起来构建 prompt，输入到大模型中进行问答。⭐ 通过以上两个问题，我们发现 LLM 对于一些近几年的知识以及非常识性的专业问题，回答的并不是很好。在这里，我们调用 OpenAI 的 API 创建一个 LLM，当然你也可以使用其他 LLM 的 API 进行创建。首先，我们加载在前一章已经构建的向量数据库。
2025-05-08 16:45:00
909
原创 【动手学大模型开发 17】使用 LangChain 调用讯飞星火和智谱AI
根据智谱官方宣布以下模型即将弃用，在这些模型弃用后，会将它们自动路由至新的模型。请用户注意在弃用日期之前，将您的模型编码更新为最新版本，以确保服务的顺畅过渡，更多模型相关信息请访问。我们希望像调用 ChatGPT 那样直接将秘钥存储在 .env 文件中，并将其加载到环境变量，从而隐藏秘钥的具体细节，保证安全性。我们同样可以通过 LangChain 框架来调用智谱 AI 大模型，以将其接入到我们的应用框架中。从而我们可以将星火大模型加入到 LangChain 架构中，实现在应用中对文心大模型的调用。
2025-05-08 08:00:00
304
原创 【动手学大模型开发 16】使用 LangChain 调用百度文心一言
在老版本中，LangChain 是不直接支持文心调用的，我们需要自定义一个支持文心模型调用的 LLM。我们希望像调用 ChatGPT 那样直接将秘钥存储在 .env 文件中，并将其加载到环境变量，从而隐藏秘钥的具体细节，保证安全性。我们同样可以通过 LangChain 框架来调用百度文心大模型，以将文心模型接入到我们的应用框架中。从而我们可以将文心大模型加入到 LangChain 架构中，实现在应用中对文心大模型的调用。我们也可以使用新版 LangChain，来直接调用文心一言大模型。
2025-05-07 15:30:00
639
原创 【动手学大模型开发】基于 LangChain 调用 ChatGPT
LCEL（LangChain Expression Language，Langchain的表达式语言），LCEL是一种新的语法，是LangChain工具包的重要补充，他有许多优点，使得我们处理LangChain和代理更加简单方便。上面代码中我们使用 LCEL 将不同的组件拼凑成一个链，在此链中，用户输入传递到提示模板，然后提示模板输出传递到模型，然后模型输出传递到输出解析器。| 的符号类似于 Unix 管道运算符，它将不同的组件链接在一起，将一个组件的输出作为下一个组件的输入。后，我们就可以尝试使用它！
2025-05-07 07:00:00
1037
原创 【动手学大模型开发】LangChain 自定义 Embedding 讲解
要实现自定义 Embeddings，需要定义一个自定义类继承自 LangChain 的 Embeddings 基类，然后定义两个函数：① embed_query 方法，用于对单个字符串（query）进行 embedding；可以加入一些内容处理后再请求 embedding，比如如果文本特别长，我们可以考虑对文本分段，防止超过最大 token 限制，这些都是可以的，靠大家发挥自己的主观能动性完善啦，这里只是给出一个简单的 demo。函数应该返回一个字典，其中包含经过校验的数据。，如需复现可下载运行源代码。
2025-05-02 08:30:00
659
原创 【动手学大模型开发】搭建并使用向量数据库
Chroma的相似度搜索使用的是余弦距离，即：similarity=cos(A,B)=A⋅B∥A∥∥B∥=∑1naibi∑1nai2∑1nbi2similarity=cos(A,B)=∥A∥∥B∥A⋅B=∑1nai2∑1nbi2∑1naibi其中aiai、bibi分别是向量AA、BB的分量。核心思想是在已经选择了一个相关性高的文档之后，再选择一个与已选文档相关性较低但是信息丰富的文档。这样可以在保持相关性的同时，增加内容的多样性，避免过于单一的结果。，如需复现可下载运行源代码。
2025-05-01 14:00:00
1618
原创 【动手学大模型开发】搭建知识库 - 文档处理
因此，在本章，我们仅简单根据 chunk_size 对文档进行分割。由于单个文档的长度往往会超过模型支持的上下文，导致检索得到的知识太长超出模型的处理能力，因此，在构建向量知识库的过程中，我们往往需要对文档进行分割，将单个文档按长度或者按固定的规则分割成若干个 chunk，然后将每个 chunk 转化为词向量，存储到向量数据库中。为构建我们的本地知识库，我们需要对以多种类型存储的本地文档进行处理，读取本地文档并通过前文描述的 Embedding 方法将本地文档的内容转化为词向量来构建向量数据库。
2025-05-01 08:30:00
1165
原创 【动手学大模型开发】使用Embedding API 做知识嵌入
Embedding-V1是基于百度文心大模型技术的文本表示模型，Access token为调用接口的凭证，使用Embedding-V1时应先凭API Key、Secret Key获取Access token，再通过Access token调用接口来embedding text。GPT有封装好的接口，我们简单封装即可。embedding存放在data中，我们可以查看embedding的长度及生成的embedding。有最好的性能和最贵的价格，当我们搭建的应用需要更好的表现且成本充足的情况下可以使用；
2025-04-30 17:00:00
815
原创 【动手学大模型开发 - 搭建知识库】词向量及向量知识库
例如，"king" 和 "queen" 这两个单词在嵌入空间中的位置将会非常接近，因为它们的含义相似。而 "king" 和 "apple" 这两个单词在嵌入空间中的距离就会比较远，因为它们的含义不同。向量数据库中的数据以向量作为基本单位，对向量进行存储、处理及检索。它与传统的基于关系模型的数据库不同，它主要关注的是向量数据的特性和相似性。在机器学习和自然语言处理（NLP）中，词向量（Embeddings）是一种将非结构化数据，如单词、句子或者整个文档，转化为实数向量的技术。
2025-04-30 07:30:00
1158
原创 【动手学大模型开发】提示词工程（Prompt Engineering）
并不是说 Prompt 就必须非常短小简洁，过于简略的 Prompt 往往使模型难以把握所要完成的具体任务，而更长、更复杂的 Prompt 能够提供更丰富的上下文和细节，让模型可以更准确地把握所需的操作和响应方式，给出更符合预期的回复。例如，若要语言模型推断一本书的主题，仅提供简单的书名和一句简介是不足够的。例如，在以下的样例中，我们先给了一个 {<学术>:<圣贤>} 对话样例，然后要求模型用同样的隐喻风格回答关于“孝顺”的问题，可以看到 LLM 回答的风格和示例里<圣贤>的文言文式回复风格是十分一致的。
2025-04-29 17:30:00
1061
原创 【动手学大模型开发】使用 LLM API：智谱 GLM
ChatGLM 系列模型，包括 ChatGLM-130B、ChatGLM-6B 和 ChatGLM2-6B（ChatGLM-6B 的升级版本）模型，支持相对复杂的自然语言指令，并且能够解决困难的推理类问题。其中，ChatGLM-6B 模型来自 Huggingface 上的下载量已经超过 300w（截至 2023 年 6 月 24 日统计数据），该模型在 Hugging Face (HF) 全球大模型下载榜中连续 12 天位居第一名，在国内外的开源社区中产生了较大的影响。值越大，会使输出更随机，更具创造性；
2025-04-29 14:30:00
592
原创 【动手学大模型开发】使用 LLM API：讯飞星火
同样，受限于中文语境与算力资源，星火在使用体验上与 ChatGPT 还存在差异，但是，作为与文心不分伯仲的国内中文大模型，仍然值得期待与尝试。相较于存在显著资源、技术优势的百度，科大讯飞想要杀出重围，成为国内大模型的佼佼者，需要充分利用相对优势，至少目前来看，星火并未掉队。可以注意到，官方示例的输出结果中除了 LLM 的回答内容外，还包含标识回答结束（“#### 关闭会话”、“### close ###”）的打印日志，如果只想保留原始输出内容，可以通过修改源代码来进行优化。函数，用于后续章节的调用。
2025-04-29 11:30:00
1808
原创 【动手学大模型开发】使用 LLM API：文心一言
由百度于 2023 年 3 月 27 日推出的中文大模型，是目前国内大语言模型的代表产品。百度文心同样支持在传入参数的 messages 字段中配置 user、assistant 两个成员角色的 prompt，但与 OpenAI 的 prompt 格式不同的是，模型人设是通过另一个参数 system 字段传入的，而不是在 messages 字段中。在使用千帆 SDK 之前，需要先获取文心一言调用密钥，在代码中需要配置自己的密钥才能实现对模型的调用，下面我们以。如果你使用的是安全认证的参数校验，需要在。
2025-04-29 09:00:00
972
原创 【动手学大模型开发】使用 LLM API：ChatGPT
事实上，在圈外人看来，ChatGPT 即是 LLM 的代称。OpenAI 除发布了免费的 Web 端产品外，也提供了多种 ChatGPT API，支持开发者通过 Python 或 Request 请求来调用 ChatGPT，向自己的服务中嵌入 LLM 的强大能力。可选择的主要模型包括 ChatGPT-3.5 和 GPT-4，并且每个模型也存在多个上下文版本，例如 ChatGPT-3.5 就有最原始的 4K 上下文长度的模型，也有 16K 上下文长度的模型 gpt-turbo-16k-0613。
2025-04-28 15:45:00
1916
原创 【动手学大模型开发】LLM API 的基本概念
具体来说，在使用 ChatGPT API 时，你可以设置两种 Prompt：一种是 System Prompt，该种 Prompt 内容会在整个会话过程中持久地影响模型的回复，且相比于普通 Prompt 具有更高的重要性；例如，在下面示例中，我们给 ChatGPT 的提问 “NLP 中的 Prompt 指什么”是我们的提问，其实也就是我们此次的 Prompt；当取值较高接近 1 时，预测的随机性会较高，所有词被选择的可能性更大，会产生更有创意、多样化的文本，更有可能生成不寻常或意想不到的词。
2025-04-28 09:00:00
843
原创 【动手学大模型开发】VSCode 配置 Python 环境配置
这部分介绍了如何新建和激活 conda 虚拟环境，克隆项目仓库，切换到项目目录，以及安装所需的 Python 包。当我们使用 nltk 时就会报错。本章主要提供一些必要的环境配置指南，包括代码环境配置、VSCODE 代码编辑器的 Python 环境配置，以及一些使用到的其他资源配置。这时当我们执行 Python 代码时，就会自动识别我们的 Python 环境，并提供代码补全等功能，方便我们进行开发。这里我们详细介绍了代码环境配置的每一步骤，分为基础环境配置和通用环境配置两部分，以满足不同用户和环境的需求。
2025-04-27 16:00:00
714
原创 【Cursor AI编程 01】Cursor 安装与基本设置
Cursor 是一个 AI 驱动的程式码编辑器，基于大家熟悉的开源编辑器 VS Code 所开发的。Cursor 团队在此基础上加入了许多 AI 驱动的功能。目前在社群中，提到 AI 驱动的 IDE，Cursor 是最热门的选择之一。除了 Cursor，业界还有其他受欢迎的选项，例如 GitHub Copilot，或是 WindSurf。虽然这门课以 Cursor 为主，但课程中提到的概念也适用于 GitHub Copilot 或 WindSurf 等工具。即使你偏好其他工具，这门课应该也会有帮助。
2025-04-27 10:21:15
660
原创 【动手学大模型开发】GitHub Codespaces 基本使用&环境配置
代码空间是托管在云中的开发环境。可通过将配置文件提交到存储库（通常称为“配置即代码”）来为 GitHub Codespaces 自定义项目，这将为项目的所有用户创建可重复的 codespace 配置。有关详细信息，请参阅“由于每个存储库都可以设置一个独立的 codespace，所以这里我们不需要安装 conda 环境。且因为 GitHub 服务器在国外，无需配置国内镜像源。注意：第一次安装完所有配置后，需要重启一下 codespace。配置环境即可，可以跳过前两步。1.2 通用环境配置。
2025-04-27 09:30:00
482
原创 【动手学大模型开发】VSCode 连接远程服务器
port 一般配置为 22, username 可以用 root 或者自定义的用户名 IP 替换成服务器的 IP 选择本地的 SSH 配置文件。这里我们选择 VSCode 连接远程服务器，方便我们在本地编辑器中直接操作远程服务器。安装 SSH 插件 打开 VSCODE 的插件市场，搜索 SSH，找到。打开可以连接的远程服务器的编辑器，这里以 VSCODE 为例。找到我们需要连接的服务器的公网 IP 地址，并复制。找到我们的服务器，右边有两个选项。之后就可以进行愉快的编程啦！插件，添加服务器的 SSH，
2025-04-25 15:45:00
541
原创 A2A和MCP（一）-- 智能体协议标准战争？
根据相关文档和发布声明，A2A正如其名称的字面含义：它对AI智能体之间的通信方式进行了标准化。按照官方的说法，A2A使智能体能够：直接相互通信。安全地交换信息。跨工具、服务和企业系统协调行动。
2025-04-25 14:09:29
947
原创 【动手学大模型开发】开发 LLM 应用的整体流程
在完成上一步的初始化 Prompt 设计后，我们应该进行实际业务测试，探讨边界情况，找到 Bad Case，并针对性分析 Prompt 存在的问题，从而不断迭代优化，直到达到一个较为稳定、可以基本实现目标的 Prompt 版本。开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过 Prompt Enginnering 来实现大语言模型的控制，因此，虽然大模型是深度学习领域的集大成之作，大模型开发却更多是一个。，而不会将精力聚焦在优化模型本身上。
2025-04-25 11:31:34
1055
原创 【动手学大模型开发】LangChain
LangChain 框架的核心库、核心组件，提供了基础抽象和 LangChain 表达式语言（LCEL），提供基础架构和工具，用于构建、运行和与 LLM 交互的应用程序，为 LangChain 应用程序的开发提供了坚实的基础。，这一里程碑式的更新，为开发者带来了全面而强大的功能支持。：LangChain 提供了丰富的智能体和工具集合，并提供了定义工具的简便方法，支持智能体工作负载，包括让 LLM 调用函数或工具，以及如何高效地进行多次调用和推理，极大地提升了开发效率和应用性能。
2025-04-25 07:30:00
1357
原创 【动手学大模型开发】检索增强生成 RAG 简介
RAG 通过检索和整合长文本信息，强化了模型对长上下文的理解和生成，有效突破了输入长度的限制，同时降低了调用成本，并提升了整体的处理效率。RAG 通过检索特定领域的相关文档，为模型提供丰富的上下文信息，从而提升了在专业领域内的问题回答质量和深度。RAG 结合检索到的信息和模型的生成能力，通过提供额外的背景知识和数据支持，增强了模型的推理和理解能力。RAG 将生成内容与检索到的原始资料建立链接，增强了内容的可追溯性，从而提升了用户对生成内容的信任度。，从而显著提升了回答的准确性与深度。
2025-04-24 19:00:00
848
原创 【动手学大模型开发】LLM 的能力与特点
大型模型不仅可以缩短每个具体应用的开发周期，减少所需人力投入，也可以基于大模型的推理、常识和写作能力，获得更好的应用效果。因此，大模型可以成为 AI 应用开发的大一统基座模型，这是一个一举多得、全新的范式，值得大力推广。这种能力允许语言模型在提供自然语言指令或多个任务示例的情况下，通过理解上下文并生成相应输出的方式来执行任务，而无需额外的训练或参数更新。总之，LLM 是一种令人兴奋的技术，它让计算机更好地理解和使用语言，正在改变着我们与技术互动的方式，同时也引发了对未来人工智能的无限探索。
2025-04-24 14:47:22
923
原创 【动手学大模型开发】什么是大语言模型
然而，随着 OpenAI o1 的推出，后训练和在线推理阶段也各自拥有了 Scaling Law，即后训练阶段的强化学习 Scaling Law（RL Scaling Law）和在线推理阶段的 Inference Scaling Law（Test Time Scaling Law）。通过大量文本数据训练这些模型，使它们能够通过阅读大量文本来深入理解语言规则和模式，就像让计算机阅读整个互联网一样，对语言有了更深刻的理解，极大地提升了模型在各种自然语言处理任务上的表现。，而不需要依赖专有或不可访问的数据集。
2025-04-24 14:25:14
1009
原创 【AI入门】如何让向量具有语义信息？
通常情况下，我们可以维护一个如下图所示的查询表。表中每一行都存储了一个特定词语的向量值，每一列的第一个元素都代表着这个词本身，以便于我们进行词和向量的映射（如“我”对应的向量值为 [0.3，0.5，0.7，0.9，-0.2，0.03] ）。得到每个单词的向量表示后，我们需要思考下一个问题：比如在多数情况下，“香蕉”和“橘子”更加相似，而“香蕉”和“句子”就没有那么相似；在上面的句子中，我们通过上下文可以推断出第一个“苹果”指的是苹果手机，第二个“苹果”指的是水果苹果，而第三个“菠萝”指的应该也是一个手机。
2025-04-22 16:44:59
415
原创 【AI面试】分类模型 之 随机森林
思想：总体样本当中随机取一部分样本进行训练，通过多次这样的结果，进行投票获取平均值作为结果输出，这就极大可能的避免了不好的样本数据，从而提高准确度。因为有些是不好的样本，相当于噪声，模型学入噪声后会使准确度不高。举例：假设有1000个样本，如果按照以前的思维，是直接把这1000个样本拿来训练，但现在不一样，先抽取800个样本来进行训练，假如噪声点是这800个样本以外的样本点，就很有效的避开了。重复以上操作，提高模型输出的平均值。OOB 即 out-of-bag ， 又称袋外数据。
2025-04-22 16:35:24
622
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人