- 博客(506)
- 收藏
- 关注
RSS订阅原创 BIM应用迁移到TypeScript iTwins平台的收益探索
原生BIM应用迁移到基于TypeScript的iTwin平台，将带来从技术底层到业务协作的全面革新。它将项目从传统客户端/服务器(C/S)模式带入现代的浏览器/服务器(B/S(架构。这里尝试基于网络资料，探索BiM应用迁移到iTwins平台的好处。
2026-05-08 06:51:20
295
原创 LLM如何辅助RAG从大量文档中筛选目标文档
RAG可以从大量文档中筛选出相关文档，解决LLM上下文窗口有限的问题。然而，由于语义相似特性，在召回相关文档同时，也同时会带入不相关或仅边缘相关的文档。这里尝试基于LLM的理解能力，示例如何辅助RAG过滤掉不相关或仅边缘相关的文档。所用实验方案和代码示例，均参考和修改自网络资料。
2026-05-03 23:31:03
457
原创 代码知识库开源方案的整理和探索
传统代码知识库如Confluence、GitBook长期面临一系列问题，比如文档与代码不同步。LLM介入后这些可能不再是问题，LLM直接在代码层面完成架构图、调用链、模块说明的自动生成与更新。通过离线向量化与在线推理，可将代码转化成可检索知识，精准回答和优化编程。目前代码知识库正从一个辅助工具演进为研发体系的核心基础设施，如KoalaWiki、Deepwiki等。这里尝试从技术架构、方案对比、实践落地，系统性地梳理和探索这些开源代码知识库方案。
2026-04-25 23:29:30
476
原创 VS Code + Continue编程插件使用技巧
Continue 的主要功能都围绕聊天、内联编辑和自动补全展开，之前探索了VS Code + Continue编程插件示例Continue最核心的操作就是通过快捷键 Cmd/Ctrl + L在侧边栏唤出聊天面板。这里参考网络资料，进一步探索VS Code + Continue编程插件使用技巧。
2026-04-24 19:29:05
563
原创 VS Code + Continue编程插件示例
Continue 是一款完全开源的 VS Code 插件。它采用 Apache 2.0 许可证进行分发。Continue开源、高度可定制化的AI编程助手，可以无缝集成多种AI模型。用户可以在对话界面中提及某个文件或代码块，让LLM更好滴理解上下文。
2026-04-23 23:57:19
522
原创 多轮对话长上下文-向量检索和混合召回示例
的混合召回。1）不要只给摘要，不给证据给模型的最终 Prompt 结构建议示例如下[长期记忆摘要：用户叫张三，想买红毛衣...]
2026-04-17 23:27:35
495
原创 从长字符串中解析合法json结构的示例
当LLM输出包含json结构时，如何解析是一个比较难处理的问题，因为除json外还有常规文本。虽然prompt约定按```json{xxx}```输出，LLM依然有可能忽略```json ```直接输出json的body。这里参考网络资料，尝试示例集中健壮性比较好的从字符串提取json的解析方案。
2026-04-17 18:38:05
258
原创 多轮对话长上下文-增量摘要和结构化摘要示例
摘要能极大节省 Token，但会丢失细节。这里的建议是分阶段实施。具体为增量摘要、结构化摘要、反思式摘要。增量摘要是指维护一个summary变量。比如，每满 5 轮对话，调用轻量级模型，如 GPT-4o-mini 或本地 7B 模型，将新产生的“5 轮对话”和“旧摘要” 合并生成一个新摘要。如此，对话上下文不会随着总轮数的增加而线性增加，能控制在一个相对合理的范围内。在摘要过程中，LLM为节约字数，有可能仅仅是总结下历史对话。
2026-04-16 23:49:36
503
原创 多轮对话长上下文截断技巧示例
在处理多轮对话的上下文管理时，理论往往很美，但工程落地全是坑。不要追求完美的方案，能解决问题的均衡策略往往是最有效的。这里尝试基于网络资料，尝试示例多伦对话长上下文截断技巧。
2026-04-14 23:31:36
445
原创 LLM上下文缓存与状态复用机制的分析和探索
在大模型推理中，上下文缓存与状态复用是提升性能、降低成本的核心技术。它们主要围绕KV Cache展开，旨在解决Transformer架构中的计算冗余和显存瓶颈。这里尝试基于网络资料，探索和分析KV Cache复用和分页注意力机制。
2026-04-13 23:05:59
517
原创 缩放RoPE提升LLM外推能力探索 - YaRN & NTK-aware
原生多头注意力在极长上下文中的位置外推能力有限。直接将RoPE从4K扩展至32K甚至更长，模型在未见过长距离位置上会崩溃，位置编码外推失效。这里参考网络资料，探索分析YaRN、NTK-aware等更稳定的缩放RoPE编码和注意力沉淀方法。
2026-04-13 17:11:54
475
原创 LLM如何与mcp server交互示例
这里参考之前分析文章，提供一个完整、可运行MCP Server示例 - 智能知识库助手。示例集成SQLite和FAISS，支持语义检索、问答记录、统计分析等功能，展示MCP原语协同运用。代码如下，保存为zhishi_assistant.py。import osmodel_name = gpt_model_name # LLM名称,比如deepseek-r1, qwen3.5-8bos.environ['OPENAI_API_KEY'] = gpt_api_key # LLM供应商提供的api key。
2026-04-12 10:14:02
491
原创 sentence-transformer如何离线加载和使用模型
离线环境使用sentence-transformers，需要在有网环境下载好模型，再将文件迁移到离线机器上。这里尝试基于网络资料，详细示例sentence-transformers下载模型和离线加载模型的过程。
2026-04-11 22:32:14
379
原创 MCP协议的深度分析与应用示例
即定义AI 可以主动调用的功能。# 工具定义 - AI 可以主动调用的功能"""在知识库中进行语义检索，返回最相关的文档内容。Args:query: 用户查询的自然语言问题top_k: 返回的文档数量，默认 3 条，最大 10 条Returns:检索到的文档内容，以结构化格式呈现"""# 生成查询向量# FAISS 向量检索return "知识库中未找到相关文档。# 获取文档详情output_parts = [f"检索到 {len(results)} 条相关文档：\n"]
2026-04-11 12:00:20
392
原创 如何基于sentence_transformers构建向量计算工具
sentence_transformers是本地构建向量模型测试时经常会选用的工具。这里基于网络资料，尝试基于sentence_transformers构建向量模型。
2026-04-11 10:16:58
181
原创 mstsc不在“C:\Windows\System32“下在C:\windows\WinSxS\anmd64xxx“问题分析
mstsc是windows系统的远程桌面连接工具。这里尝试基于网络资料，解决windows找不到mstsc.exe时，mstsc不在"C:\Windows\System32"，而是下在C:\windows\WinSxS\anmd64xxx"的问题。
2026-04-10 15:12:02
350
原创 LLM上下文管理探索-滑动窗口+摘要压缩+优先级丢弃
在大模型应用中，上下文窗口(Context Window)是有限资源。即便GPT-4.1 1M上下文，面对持续增长的多轮对话、调用链、检索文档，Token仍然会迅速耗尽。一个可用的上下文管理器，需要解决token超限、信息丢失、实时性和成本延迟的矛盾。这里尝试基于网络资料，通过滑动窗口、上下文摘要、优先级丢弃等方式尝试缓解这些矛盾。
2026-04-09 19:41:59
458
原创 LLM应用长上下文方案与RAG方案的决策示例
在LLM场景下，选择直接提供全文还是使用RAG，感觉目前并没有哪种方案是绝对正确。选择直接提供全文(长上下文模型)还是RAG，取决于具体任务、数据和成本考量。核心决策在于是需要模型的全局理解能力，还是优先考虑成本与精确性。这里尝试基于网络资料，探索这两种方案的特征和优劣。
2026-04-09 11:16:51
397
原创 Agent Memory智能体记忆系统的示例分析
之前探索了LLM滑动窗口与记忆机制的应用探索其中，提到多种Memory形态，工作记忆 (Working Memory)、长期记忆 (Long-Term Memory)。这里进一步在Agent系统中通过示例的方式探索这些记忆形态，所用示例参考和修改自网络资料。
2026-04-08 23:48:18
450
原创 ChromaDB距离计算公式示例
faiss和chromadb是LLM时代两种重要的轻量级向量库实现方式。之前探索了使用向量库faiss和LLM判断问题是否被记录。这里进一步探索chromadb距离计算公式，所用示例参考和修改自网络资料。
2026-04-08 22:56:03
408
原创 LLM如何以ReAct Agent方式统计分析去重后数据
这里定义数据库查询统计工具execute_sql，统计逻辑由sql定义实现。1）工具代码# ================= 阶段3：查询统计 + ReAct Agent =================# 定义工具：执行 SQL 查询（只读）"""执行 SQL SELECT 语句，返回 JSON 字符串"""try:return f"SQL错误: {e}"输出示例如下，可见该工具能实际运行sql。
2026-04-06 01:41:36
432
原创 LLM与程序协作来去重清洗文本格式数据
之前探索了LLM与程序协作来结构化文本财报数据这里进一步探索LLM和程序协作的方式，来融合和去重清洗文本数据。所用示例参考和修改自网络资料。
2026-04-06 01:01:50
430
原创 LLM如何与程序协作来结构化文本财报数据
之前探索了基于Pydantic结构化文本格式的财报数据。这里进一步探索LLM和程序融合协作的方式，结构化文本财报数据。由程序对文本财报数据进行初步清洗，LLM负责对清洗后的财报数据进行对齐。所用示例参考和修改自网络资料。
2026-04-04 22:34:28
488
原创 LLM如何基于Pydantic结构化文本格式的财报数据
参考之前文档，这里基于pydantic basemodel定义需要结构化输出的数据。这里分别定义了如下主要财务项目的结构化目标。1）公司基本信息2）近三年主要会计数据及同比增减3）近三年主要财务指标及同比变动4）单年非经常性损益项目明细5）采用公允价值计量的项目示例代码如下"""公司基本信息"""currency: str = "人民币"unit: str = "元""""单年主要会计数据"""营业收入: float归属于上市公司股东的净利润: float。
2026-04-04 09:57:51
366
原创 如何基于OpenAI进行Function Calling调用
定义可用工具，在这里即指定义Function。需要以 JSON 格式描述函数，包括函数名、描述和参数。tools = ["description": "获取指定城市的当前天气信息","city": {"description": "城市名称，例如：北京、上海"},"unit": {"description": "温度单位，默认为摄氏度"},
2026-04-01 19:33:39
378
原创 神经网络中log加替代直接乘的原因探索
这里尝试基于网络资料，探索神经网络里为什么常用log加，不直接乘的原因。简单概括就是把乘法变加法，既好算、又稳定、还能求梯度。
2026-03-31 18:08:12
225
原创 fewshot示例是否应被当作向量记忆存储在RAG
fewshot示例通常指的是单个示例，用于展示输入输出对，帮助模型理解任务格式或风格。在RAG中向量记忆通常指将文档或知识片段向量化后存储，用于检索相关上下文。那fewshot示例是否适合存入向量数据库作为检索对象，即当作向量记忆存储在RAG中？绝大多数场景下few-shot 示例不应该存在向量记忆（RAG）里。它们属于Prompt 模板/系统指令，不属于用户/业务知识库。
2026-03-31 16:57:30
359
原创 对基于Pydantic BaseModel的实例进行JSON序列化
Pydantic BaseModel的子类实例，还支持自定义序列化。以下是一些经常使用的功能示例。通过 json_encoders或实现__get_pydantic_core_schema__实现示例代码如下。
2026-03-31 15:13:47
100
原创 OpenAI 如何自定义JSON结构化输出示例
虽然提示词中可以通过json格式示例方式，指定模型的结构话输出。然而这种方式比较容易出错，轻微的输出不规范，就会导致json解析失败。目前使用OpenAI API进行JSON结构化输出，主要有两种推荐的方法：其中，Structured Outputs是更新、更可靠的方式，能保证模型输出符合定义的JSON Schema。这时尝试基于网络资料，给出具体的实现方法和代码示例。
2026-03-31 11:38:17
461
原创 信息检索评估指标Recall@K的分析和计算示例
Recall@K是信息检索和推荐系统中衡量排序列表头部(前K个结果)召回能力的指标。其定义为：其中，相关物品通常指用户真实感兴趣、与查询匹配或被标注为正例的物品。对于单次查询或单个用户，Recall@K 是一个 0 到 1 之间的分数。在多查询/多用户的场景下，通常计算平均 Recall@K（即Mean Recall@K）。
2026-03-30 21:02:45
446
原创 LLM长文本场景-如何用oneshot方式辅助分析财报
之前探索了LLM如何对超长财报内容的回答进行汇总精炼。这里尝试基于网络资料，进一步探索LLM如何基于oneshot从多个维度分析公司的财务状态。
2026-03-28 22:35:41
304
原创 LLM长文本场景-财报风险量化打分示例
这里首先基于之前讨论的内容，对财报的风险披露情况进行汇总分析。提示词示例如下，caibao_txt_content指海光信息2024年的财报的txt内容。你是一位资深的财务分析师。请从以下公司年度报告文本片段中，提取该公司在2024年度的“风险揭示”的内容，并进行汇总整理。公司名称： 海光信息文本内容：---输出示例如下好的，作为一名资深的财务分析师，我已仔细审阅了您提供的海光信息2024年年度报告文本。
2026-03-28 19:35:07
376
原创 如何使用向量库faiss和LLM判断问题是否被记录
在实际去重应用场景中，我们可能经常需要判断某个问题检查是否被记录。问题库规模可能很大，比如几千条记录，直接人工判断不太现实。这里基于网络资料，尝试直接用LLM以及基于相似性判断，探索高效准确的去重方案。
2026-03-28 00:20:42
363
原创 LLM长文本场景-超长回答汇总精炼示例
之前探索了LLM如何联合两份文档分析公司的年度财务数据。然而在长文本场景，回答内容并不总是可以精确提取的数值或精准简洁的内容。对于部分比较抽象问题，比如年报的“管理层讨论”，回答内容可能是长度达到10多页的长篇论述。这里尝试基于网络资料，利用LLM对超长回答进行汇总整理，确保内容精确同时提高可读性。
2026-03-21 12:40:37
357
原创 LLM长文本场景-多文档分布式分析示例
之前探索了LLM如何联合两份文档分析公司的年度财务数据。针对多份文档难以一次性分析的困境，这里通过查询研发投入最高公司探索分布式处理流程。用一个完整Python程序实现了从本地PDF财报中提取研发费用并进行对比分析的全流程。
2026-03-20 19:37:16
488
原创 LLM复杂数值的提取计算场景示例
之前探索了使用LLM从长文本中提取简单数值并进行计算的示例。这里进一步探索横跨两个文本的复杂数值的提取和计算示例。所用资料和代码，修改和参考自网络资料。
2026-03-20 14:55:08
428
原创 LLM数值提取-计算场景示例
之前探索了LLM长上下文和数值类有效输出的关系这里选用 苹果公司 2023 财年 10-K 年报(约 90 页，约 70K tokens)作为长上下文测试文本。任务包括：1）直接数值提取：从文本中找出指定财务数据（如总营收、净利润）。2）基于提取值的计算：如计算“研发费用占总营收的比例”。3）结构化输出：要求模型以 JSON 格式返回结果，便于程序解析。将通过两种方式处理长文本：1）一次性传入，如果模型上下文窗口足够，如 128K context的模型。
2026-03-19 19:17:57
410
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人