- 博客(518)
- 资源 (8)
- 收藏
- 关注
RSS订阅
原创 【性能调优】一次监控数据错误的性能调优经历
在对自建存储服务的回调接口进行调优时，QPS始终卡在1万瓶颈。经过源码分析（包含1次Redis查询、2次DB操作、5次本地缓存读取和1次外部调用）和多轮压测（节点数与QPS呈线性增长至5节点后停滞），最终发现数据库实际CPU使用率被监控误导（显示仅50%但实际已达瓶颈）。通过火焰图和链路分析确认DB操作为主要耗时点，调整数据库配置后问题解决。案例揭示了监控数据准确性对性能分析的关键作用。
2021-05-24 00:09:16
3991
4
原创 【Furion性能平台】平台架构演进
Furion性能测试平台经历了从单机到分布式再到容器化的架构演进。初期单机模式简便但压力有限，分布式模式解决了并发问题但部署复杂。通过节点容器化实现了统一部署和文件管理，但报告聚合速度成为瓶颈。引入Kafka和Elasticsearch优化数据流后，仍面临海量数据聚合的挑战。平台最终采用渐进式聚合策略，以支撑20万QPS的压测需求。这一系列架构演进体现了性能测试平台在提升并发能力和优化数据处理方面的持续创新
2021-02-04 08:27:49
7068
4
原创 【AI应用】AI驱动质量风险保障
本文提出了一种基于LLM的智能质量保障系统，旨在解决传统质量保障体系中风险识别滞后、评估效率低下和测试覆盖不足三大痛点。系统采用分层架构设计，通过多源数据聚合和预处理，将LLM作为分析中枢嵌入CI/CD流水线，实现风险拦截左移、评估有据可依和闭环治理流转。核心创新包括：事实驱动的分析理念、最小粒度的模块化设计和证据链追溯机制。系统在研发测试、测试准入和测试准出三个阶段动态组合原子评估能力，显著提升质量保障效率和准确性。通过数据清洗、标准化和稳定性优化，确保系统在实际环境中的可靠运行
2026-06-15 17:26:36
207
原创 【AI Agent】Hermes Agent解析
Hermes Agent：一个具备持久化学习能力的开源AI Agent框架 核心特点： 突破传统Agent的"无状态困境"，通过记忆系统（SQLite+FTS5全文检索）实现跨会话经验积累 支持200+模型自由切换，11种模型家族和15+平台接入 五层架构设计（入口层、编排层、推理层、工具执行层、存储层）实现平台无关性 47+内置工具和动态技能沉淀机制，支持从任务执行中自动提炼可复用Skill 独特的四层记忆体系（会话/每日/长期/向量索引）和辩证式用户建模 与传统Agent对比： 具备自我进化能力，通过A
2026-06-11 17:57:38
505
原创 【AI Agent】Harness Engineering实践
Harness(运行宿主)是围绕 LLM构建的一套确定性工程系统，其核心职责是：承认模型的固有局限，用可控的工程手段逐一弥补，使"强大但不可靠的推理引擎"变成"可信赖的生产级Agent"模型 是发动机——提供原始动力Agent 是驾驶员——做出决策Harness 是道路、地图、护栏、仪表盘、维修站和质检线——确保行驶安全有序没有Harness，模型越强，可能只是更快地制造混乱。
2026-06-10 17:11:45
153
原创 【深度学习】神经网络与深度学习-神经网络的编程基础
本文介绍了逻辑回归算法的关键概念。首先阐述了二分类问题的定义，将图像转换为特征向量的方法，以及训练集的矩阵表示形式。然后详细讲解了逻辑回归模型，包括其输出函数和Sigmoid激活函数的作用原理。最后重点讨论了逻辑回归的损失函数设计，分析了为何使用对数损失而非平方误差损失，以及该损失函数如何确保在y=1和y=0时的优化效果。文章还强调了参数w和b的组织方式，以及向量化实现的重要性。这些内容为理解逻辑回归的基础原理和实现方法提供了清晰的框架。
2026-01-07 09:19:05
1257
原创 【深度学习】神经网络与深度学习-引言
本文介绍了神经网络的基本概念及其在监督学习中的应用。神经网络通过堆叠简单神经元实现复杂映射，能够自动学习输入特征到输出的关系。深度学习在结构化数据（如广告推荐）和非结构化数据（如图像识别）中均取得突破，其成功主要归功于：1）数字化时代带来的海量训练数据；2）计算能力提升支持更大规模网络训练。神经网络的性能随数据量和网络规模增加而持续提升，这使得深度学习成为当前最有效的机器学习方法之一。
2026-01-06 09:14:20
645
原创 【LLM】Transformer原理剖析
本文系统介绍了从RNN到Transformer的演进过程。首先分析了RNN及其变体LSTM/GRU在处理序列数据时的局限，特别是顺序计算的瓶颈和长距离依赖问题。随后重点阐述了Transformer的核心创新：自注意力机制和多头注意力机制。自注意力通过Q、K、V三向量实现词语间的动态关联计算，多头注意力则提供了多视角理解词关系的可能。文章详细解析了缩放点积注意力的计算过程和张量形状变化，揭示了Transformer相比RNN在并行计算和语义捕捉方面的优势。这一架构革新为自然语言处理带来了质的飞跃。
2025-12-11 11:51:08
706
原创 【驱动AI提示词】提示词设计模式
本文探讨提示词设计中的角色扮演模式及其应用。角色扮演模式通过赋予AI特定身份，使其输出内容符合该角色的专业特征和表达风格，从而提升交互情境的契合度和专业性。文章详细介绍了角色定义、常见角色分类（行业型和场景型），并提供了设计角色提示词的方法，包括明确需求、设定特质语言风格等。通过市场分析师、心理咨询师等案例展示了不同场景下的提示词示例，并提出了平衡核心属性与灵活性、迭代优化等注意事项。该模式在客户服务、教育等领域具有广泛应用价值。
2025-12-09 09:13:00
963
原创 【驱动AI提示词】提示词基础及技巧
摘要：有效的AI提示词由指令、上下文、输入数据和输出指示四大要素构成。指令需明确具体任务，上下文提供背景信息，输入数据给予事实依据，输出指示规范内容格式。提示词编写应遵循明确性、简洁性、针对性、适应性和一致性五大原则，避免模糊表达和冗余信息。通过对比示例可见，结构完整的提示词能显著提升AI输出的质量。实际应用中需持续迭代优化提示词，利用反馈循环逐步完善内容，同时注意规避常见错误如模糊性和信息缺失，以确保生成内容符合预期目标。
2025-11-28 08:59:29
762
原创 【驱动AI提示词】认识提示词
摘要 提示词工程作为人机交互的新范式，正在重塑AI应用方式。文章系统阐述了提示词工程的核心概念、与传统编程的区别及其广泛应用。提示词分为系统提示词（设定AI行为框架）和普通提示词（开放式激发创意/封闭式获取精确信息），其优化需应对输出不确定性、偏见等挑战。未来趋势包括多模态交互、自动化生成及标准化/个性化发展。提示词工程通过降低技术门槛，使AI从工具升级为智能协作伙伴，在内容创作、商业分析、教育等领域展现出革新价值。合理选择与组合提示词类型是提升AI交互效果的关键。
2025-11-24 21:13:26
287
原创 【驱动AI提示词】AI模型工作原理
生成式AI模型的强大功能源于其底层Transformer架构和复杂的训练过程。该架构通过自注意力机制和位置编码解决了传统序列模型的局限，成为自然语言处理的标准。训练过程依赖海量数据和计算资源，通过自回归语言建模、损失函数优化和超参数调优实现高质量输出。推理过程中，提示词设计对生成内容质量起决定性作用，需要明确指令、充分上下文和格式控制。然而，生成式AI仍存在对提示词依赖、缺乏深层理解、偏见问题、长文本处理局限、创造力不足和实时信息滞后等固有局限性。这些因素共同影响着生成式AI的实际应用效果。
2025-11-21 23:46:24
409
原创 【LLM】Prompt Engineering调优指北
摘要 Prompt工程是一种优化大模型输出的关键技术，通过设计高效的提示词引导模型生成预期结果。其核心原则包括明确性、结构化、上下文丰富、复杂度平衡和示例驱动。常见问题如输出不稳定和理解偏差可通过增加约束、结构化标签和重复强调解决。优化技巧包括步骤说明、规则拆分、冗余信息、分隔符使用、样例提供和思维链推理。效果评估需关注准确性、相关性、完整性和一致性，采用A/B测试等方法迭代优化。实践示例展示了客服、代码审查等场景中Prompt设计的改进效果，强调角色定义、审查维度和输出格式等关键要素。
2025-11-21 23:34:53
417
原创 【RAG知识库实践】重排Rerank
RAG系统中重排序(Rerank)技术的核心价值在于提升检索精度和生成质量。作为检索和生成间的关键环节，Rerank通过深度语义理解对召回结果进行二次排序，解决向量检索的精度不足问题。相比传统排序方法，Rerank具备更强的语义理解能力和上下文感知能力，支持场景定制优化。其技术原理基于排序学习理论，采用Cross-Encoder等模型进行相关性评分，通过损失函数优化实现精确排序。Rerank在计算复杂度与排序精度间取得平衡，显著提升RAG系统在复杂语义场景下的表现，是现代RAG架构不可或缺的组件
2025-09-03 21:20:39
966
原创 【RAG知识库实践】检索Retrieval
RAG检索技术通过结合传统检索与大语言模型生成能力，解决了传统检索在语义理解和知识时效性上的局限。其核心采用向量检索和混合检索策略，利用Query Embedding和MIPS算法实现语义相似性搜索，并通过稠密与稀疏检索的优势互补提升效果。关键优化包括RRF融合算法、LLZRAG分层架构和VectorDB混合检索方案，在保持高性能的同时增强了语义理解、精确匹配和专业领域适应性，为AI系统提供了更准确、实时的知识支持
2025-08-29 10:08:32
660
原创 【RAG知识库实践】查询重写Rewrite
RAG系统中的查询重写技术旨在弥合用户查询与文档间的语义鸿沟，通过改写策略（如语义扩展、意图澄清）和文档优化（如关键信息抽取、多模态融合）实现语义对齐。该技术分为PRF（基于首次检索结果优化）和GRF（利用LLM先验知识扩展）两类，各具优势：PRF适合专业领域精准检索，GRF适用于开放域快速响应。HyDE算法通过生成假设文档优化查询向量，显著提升检索准确性。智能策略选择器可根据查询特征动态选用最佳方法，平衡性能与效果
2025-08-28 18:01:52
986
原创 【RAG知识库实践】向量数据库VectorDB
向量数据库是一种专为存储和查询高维向量数据优化的系统，支持高效相似度搜索和语义理解。其核心流程包括建立索引（如HNSW算法）、查询检索（计算向量相似度）和结果过滤（结合元数据）。与传统数据库相比，向量数据库擅长处理高维向量数据，支持语义搜索和多模态应用（如文本、图像、音频等）。 在检索增强生成（RAG）架构中，向量数据库扩展了大模型的时间边界（存储最新信息）、解决隐私问题（本地部署敏感数据）并实现多模态搜索
2025-08-27 21:17:07
980
原创 【RAG知识库实践】向量化Embedding Model
稠密稀疏混合向量技术结合了传统关键词检索与语义向量检索的优势，实现精度提升10%的效果。该技术演进分为三个阶段：1）传统倒排索引依赖TF-IDF/BM25算法实现关键词精确匹配；2）稠密向量检索通过Embedding实现语义理解但丢失关键词精度；3）混合检索将两种方法统一于HNSW索引架构。关键技术突破包括：采用index-value格式存储稀疏向量、分层检索优化（初期仅稠密向量计算）、相似度线性加权算法。该技术特别适用于包含专业术语、表格数据等场景，日常文本场景则建议使用纯稠密检索
2025-07-11 09:59:35
584
原创 【RAG知识库实践】分块Chunking
本文探讨了文档分块在检索增强生成（RAG）系统中的关键作用及优化策略。分块的目标在于平衡语义完整性与检索精度，研究显示最佳分块尺寸（100-1500字符）对系统性能影响显著。文章详细介绍了定制化分块方法，包括结构化处理、动态调整和噪声过滤，并提出了邻近分块召回策略。同时分析了分块尺寸对嵌入效果的影响，建议根据内容特性、模型限制和应用场景选择合适策略。最后对比了固定大小、语义分块等不同方法的优缺点，强调需结合具体需求选择最适配的分块方案。实践表明，合理分块能有效提升检索相关性和生成质量。
2025-07-09 14:50:16
858
原创 【RAG知识库实践】数据源Data Source
本文介绍了高性能RAG系统的数据处理全流程。首先通过多种解析器将各类文档转换为标准化Markdown格式，支持PRD、SDD等文档类型及多模态数据处理。数据清洗阶段采用智能降噪和预处理策略，提升知识质量。数据标签环节为知识片段附加元数据，包括业务线、文档类型等，以增强检索精度。系统还建立了更新机制确保知识库时效性，并指出盲目增加数据量可能导致检索退化，强调数据质量和管理策略的重要性。整体呈现了一个从数据源到知识库的完整处理方案。
2025-07-08 21:32:14
359
原创 【大模型RAG实战】RAG系统构建与微调实战
RAG系统的核心部分包括两大部分：召回模块和生成模块。召回模块的性能决定了整个系统的覆盖率，因为如果无法召回包含答案片段的文本，则生成模块将无法完成任务。然而，随着技术的飞速发展，生成模块的任务已不仅仅是汇总召回模块的结果，一些由生成模块主导的RAG系统正逐渐取代传统的召回主导型RAG系统。在本章中，将介绍如何构建适用于RAG场景的向量模型、大模型的指令微调实战，以及如何构建由大模型决策的RAG系统以解决复杂的用户问题。
2025-04-03 09:04:11
1053
原创 【大模型RAG实战】基于LangChain实现RAG应用
大模型应用开发框架LangChain被开发者广泛应用。接下来介绍LangChain中与RAG相关的组件，并利用LangChain构建一个可视化的大模型RAG应用，用于回答指定PDF中的相关问题。
2025-03-27 09:26:33
1842
原创 【大模型RAG实战】RAG系统训练
对于一个完整的RAG系统而言，不能像开源博客、框架一样使用独立的召回模块和生成模块。因为召回模块与生成模块相互解耦，这意味着召回模块的召回信息并不能保证生成模块一定能有效地生成正确答案，同时生成模块的训练也没有学习到如何有效地利用召回模块的召回信息。因此，在实际的工业落地时，会考虑更好的训练方法来同时完成召回模块和生成模块的训练。本章将梳理RAG系统训练方法，以及各个训练方法的优缺点，最后完成RAG系统的联合训练实战。
2025-03-21 09:36:01
902
原创 【大模型RAG实战】核心技术与优化
在一个完整的大型RAG流程中，除了需要使用文本召回模型，还涉及提示词的设计、文本切块、向量数据库的选择、召回环节的优化、RAG效果的评估以及LLM能力优化等环节
2025-03-12 10:02:46
1160
原创 【向量数据库】向量存储内存
对于海量的向量数据，除了搜索速度以外，内存的开销也是一个巨大的挑战。举个例子，假如向量的维度是128，每个维度的数值是一个32位的浮点型数，那么一个向量占用内存的大小就是：512字节如果库中一共有1千万个向量，那么总共占用的内存：大约4.77GB实际上在真实应用场景中，上千的向量维度和上亿的向量数量都不并稀奇，因此内存开销的问题大约的确是严重的。每个向量都对应着一个切实有用的记录，所以不太可能通过纵向的删除某些向量来节省内存，那唯一的选择只能是想办法横向的把每个向量本身的大小给降下来。
2025-01-06 12:18:53
2310
原创 【向量数据库】搜索算法
最近几年，一种叫做向量数据库的产品，正趁着AI的热潮开始崭露头角。伴随着AI时代的到来，向量将成为一种重要的数据形式，而传统数据库并不适合用来存储和检索向量数据，因此我们大约需要一种专门设计的数据库来处理这些问题。和存储数据表，然后用查询语句进行精准搜索的传统数据库不同，向量数据库存储的是向量数据，而查询过程则是从库中搜索出和查询向量最为相似的一些向量，具有一定的模糊性。
2025-01-06 12:05:49
2315
原创 【向量数据库】向量定义
这里有一些狗，熟悉犬类的朋友应该能很快区分出它们的品种，之所以能做到这一点，是因为我们会从不同的角度来观察它们的特征。比如体型的大小，如果我们使用一个坐标轴来表示这个特征，这些狗将落在不同的坐标点上然而，单纯依靠体型这一个特征还不够，比如金毛和拉布拉多的体型就非常接近所以需要继续观察其他特征，比如毛发的长短，我们再建立一个（毛长的）坐标轴，这样就区分开了金毛和拉布拉多，现在每只狗对应一个二维的坐标点。
2025-01-04 02:49:14
1331
原创 【大模型RAG实战】文本召回模型
文本召回模型是大模型RAG的核心。本章首先介绍文本文本召回模型相关的基础知识，包括如何计算文本相似度和获取句子向量表示等。然后介绍一些经典模型，包括稠密向量检索和稀疏向量检索模型。重排序模型会在本章最后进行介绍，它进一步提高文本召回效果。
2025-01-03 09:39:50
2057
原创 【大模型RAG实战】语言模型基础
语言模型赋予了计算机理解和生成人类语言的能力。它结合了统计学原理和深度神经网络技术，通过对大量的样本数据进行复杂的概率分布分析来学习语言结构的内在模式和相关性。具体地，语言模型可根据上下文中已出现的词序列，使用概率推断来预测接下来可能出现的词汇。接下来主要介绍一些基础的语言模型，如Transformer、自动编码器、自回归模型等。
2024-12-24 09:26:40
2361
原创 【大模型RAG实战】RAG与大模型应用
一种能够生成各类内容的技术，包括文本、图像、音频和合成数据。自2022年底ChatGPT在全球范围内推广以来，基于Transformer解码器结构的大模型已能在短时间内为用户生成高质量的文本、表格、代码，使整个AI领域迈入了新的时代。大语言模型（Large Language Model，LLM）经过海量文本数据的训练后，能将这些文本数据以一种黑盒形式压缩在模型参数中。预训练完成后，模型便掌握了大量的人类知识世界。
2024-12-16 21:29:53
2465
原创 【Java】Java8中的Stream
一、Stream的理解Stream是用函数式编程方式在集合类上进行复杂操作的工具，其集成了Java 8中的众多新特性之一的聚合操作，开发者可以更容易地使用Lambda表达式，并且更方便地实现对集合的查找、遍历、过滤以及常见计算等在Java8中Stream API作为数据渠道，用于操作数组或者集合等数据源。流本身是不存储数据的，只是移动数据，在移动过程中可能会对数据进行过滤，排序或者其它操作，但是，大多数情况下，流操作本身不会修改数据源，比如，对流排序不会修改数据源的顺序。它只是会创建一个新的流，其中包含
2022-05-12 08:26:16
1466
原创 【测试之道】测试发展之路
一、测试团队面临的困局随着互联网的发展，持续集成及DevOps等软件工程方法的提出和普及，软件测试技术也发生了很大的变化。自动化测试、敏捷测试和测试左移等方法论被广泛应用于实践，研发团队对测试技术和测试团队有更高的期待。与此同时，测试团队也面临着不少的困难，其中具有普遍性的有：测试自动化难自动化测试程序编写成本高、执行成本高、维护成本高。测试的技术债在业务高速发展的过程中越积越多：一边修复老的用例，另一边出现新的失败用例一边补充自动化，另一边又因为项目的时间压力遗留了未自动化的用例一些可
2022-05-12 00:38:28
9766
原创 【python】datetime模块计算时间差
一、问题背景最近有小伙伴反馈接口平台的测试计划执行耗时显示有误，比如执行实际时长超过10s，但是报告中显示总耗时小于1s显示耗时统计出现问题二、问题排查开始和结束时间是否有误开始时间：2022-04-24 10:51:23.677632结束时间：2022-04-24 10:51:35.713161可见起止的时间获取没有问题计算方式round((end_time-start_time).microseconds/1000000, 2)计算结果0.04s接下来看看为什么这样的计
2022-04-24 12:07:40
10542
原创 【算法】快速排序
快速排序(Quicksort)，又称划分交换排序(partition-exchange sort)算法思想采用"分而治之"的思想，把大的拆分为小的，小的拆分为更小的。对于给定的记录，选择一个基准数，通过一趟排序将要排序的数据分割成独立的两部分，其中一部分的所有数据都比另外一部分的所有数据都要小，然后再按此方法对这两部分数据分别进行快速排序，整个排序过程可以递归进行，以此达到整个数据变成有序序列实现逻辑设当前待排序序列为R[low:high]，其中low ≤ high，如果待排序的序列规模足够小，则直
2022-03-18 09:12:35
725
原创 【python基础】collections的使用
Python的数据类型有list, tuple, dict, str等，collections是实现特定目标的容器，以提供Python标准内建容器dict , list , set和tuple的替代选择Counter字典的子类，提供了可哈希对象的计数功能OrderedDict字典的子类，保留了他们被添加的顺序defaultdict字典的子类，提供了一个工厂函数，为字典查询提供了默认值namedtuple创建命名元组子类的工厂函数deque类似列表容器，实现了在两端快速添加(append
2022-03-16 08:59:06
1044
原创 【python基础】reverse和reversed函数及使用
一、reversereverse()是python中列表的一个内置方法(在字典、字符串和元组中没有这个内置方法)，用于列表中数据的反转例子：lista = [1, 2, 3, 4]lista.reverse()print(lista)打印结果：[4, 3, 2, 1]其实，lista.reverse()操作的返回值是一个None，其作用的结果需要通过打印被作用的列表才可以查看出具体的效果二、reversedreserved()是python内置函数之一，其功能是对于给定的序列(包括列
2022-03-12 14:55:58
56565
2
原创 【Java】spring事务的实现方式
一、编程式事务管理编程式事务管理，在代码中调用commit()、rollback()等事务管理相关的方法maven pom.xml文件<dependency> <groupId>org.springframework</groupId> <artifactId>spring-beans</artifactId> <version>4.2.4.RELEASE</version></dependency&
2022-03-12 01:00:57
3134
2
原创 【架构】IO多路复用
服务器端编程经常需要构造高性能的IO模型，常见的IO模型有：同步阻塞IO(Blocking IO)传统的IO模型同步非阻塞IO(Non-blocking IO)默认创建的socket都是阻塞的，非阻塞IO要求socket被设置为NONBLOCKIO多路复用(IO Multiplexing)经典的Reactor设计模式，有时也称异步阻塞IO，Java中的Selector和Linux中的epoll都是这种模型异步IO(Asynchronous IO)经典的Proactor设计模式，也称为异步非
2022-03-10 00:46:55
371
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人