- 博客(760)
- 资源 (16)
- 收藏
- 关注
原创 从“等权 RRF“到“共识 + 强度双信号“:一次混合检索融合策略的优化实践
问题:权重写死等权 + RRF 只看排名 + 原始分在源头丢失。方案:修地基(分数传下来、路顺序固定)+ 融合公式(α×RRF + (1−α)×归一化原始分)+ 类型化权重。收益:共识 + 强度双信号,实体链接 Top-K 准确率提升。落地:按依赖顺序四步走,先修地基再改上层,最后离线评估扫参数。
2026-10-23 14:40:24
196
原创 BGE 是什么?一篇看懂文本嵌入模型 BGE 的用途与上手方式
BGE 是一套开源的文本嵌入模型,核心作用是把文本转成向量,从而实现语义检索、RAG 知识库、聚类、去重等能力。它上手简单、生态成熟,是中文 RAG 场景里最常用的 embedding 选择之一。实际使用时,建议结合官方模型卡和 C-MTEB/MTEB 评测结果做选型,并在高准确率场景中搭配 reranker 使用。
2026-10-20 10:10:19
167
原创 为什么 LSTM 总是犯低级错误?一文吃透 NER 神器:CRF(条件随机场)
很多人问:“现在 GPT-4 这么强,直接少样本提示(Few-shot Prompt)就能抽出实体,还要 CRF 吗?在严苛的金融/医疗场景,必须有。大模型就像个才高八斗的“文科生”,它能理解复杂的语义(“把张三的钱挪五千给李四”),但它极其发散,容易产生幻觉,有时还会漏掉一个数字。BiLSTM-CRF就像个死板但严谨的“理科生”,它没有大模型聪明,但它依托严格的转移矩阵,能保证输出的标签百分之百符合业务逻辑,且延迟极低、零 API 成本。大模型(Dake 层)去理解这到底是啥业务;
2026-10-20 09:28:53
284
原创 银行 AI 对话中台架构演进:为什么“大模型+规则引擎”的粗细粒度协同才是生产级答案?
在银行业的 AI 中台建设中,不要迷信大模型是万能的。大模型(Dake)像是一个聪明但动作慢、偶尔会吹牛的“大堂经理”,负责听懂客户极其复杂的诉求,指明业务方向。小模型与规则(Slot)像是一个动作极快、火眼金睛的“金库柜员”,拿着经理给的工单,一秒钟把钱、卡号、日期算得清清楚楚,一分不差。粗提槽 + 细提槽的组合,不仅控制了 TPM(每分钟请求数)的成本,还把整体的响应延迟压到了 200ms 以内,真正实现了生产级别的高可用与高准确率。
2026-10-20 09:24:04
187
原创 工业级 Mamba-2 风格混合架构(Mamba-2 + 注意力 + MoE)
的版本。:结构化状态空间对偶,用矩阵分块并行扫描:每隔几层插入一次全局注意力(Jamba 思路):稀疏激活 FFN,参数量大但计算量小:现代 LLM 标配:Llama 级组件:把 O(L) 循环变成 O(log L) 深度的树形扫描:工程化训练。
2026-10-14 17:02:50
116
原创 工业级推荐 , 冷启动 + 多路召回 + 深度学习排序 + 重排 + 反馈 + A/B + 监控
【代码】工业级推荐 , 冷启动 + 多路召回 + 深度学习排序 + 重排 + 反馈 + A/B + 监控。
2026-10-13 16:14:53
155
原创 消消乐小游戏python
==================== 冲击波 ====================# ==================== 配置 ====================# ==================== 字体 ====================# ==================== 方块 ====================# ==================== 粒子 ===================="没有可消除的组合了!点击「全屏消除」清场",
2026-10-09 19:16:34
164
原创 多智能体联调任务
self._log(f"📨 收到来自 {from_agent} 的交接(原因:{reason})")self._log(f"🎯 路由 '{query[:30]}' → {target_id}")return {"success": False, "response": "超时"}bill_kw = ["退款", "账单", "发票", "扣费", "价格"]self._log(f"📥 收到任务: {user_query[:50]}")"reason": f"{self.name}无法完全处理",
2026-10-09 15:13:16
121
原创 self attention
print("注意力矩阵(下三角为0):\n", np.round(attn, 2))# 下三角掩码:第 i 个 token 只能看 0..i。返回: (seq_len, d_model)print("输出形状:", out.shape)
2026-10-09 14:39:20
54
原创 python实现一个马里奥游戏
", (100, 220, 100))# ==================== 配置 ====================# ==================== 关卡 ====================# ==================== 实体 ====================# ==================== 关卡 ====================# ==================== 游戏 ====================
2026-10-08 16:47:20
58
原创 DeepSpeed
DeepSpeed 是"用更少显存训更大模型"的工具箱,核心是 ZeRO。模型能塞进单卡 → 用 DDP,不需要 DeepSpeed模型塞不下 → ZeRO-1/2/3单层塞不下 → 加 TP(Megatron)跨机扩展 → 加 PP(Megatron)
2026-10-08 14:00:52
58
原创 AI Infra
AI Infra 面试 = 推理优化(KV Cache + Flash Attention + 量化 + Batching)+ 算子(CUDA/Triton)+ 分布式(DP/TP/PP/ZeRO)+ 系统设计。
2026-10-08 13:39:58
196
原创 图 RAG(Graph RAG)
普通 RAG 检索“文本”,图 RAG 检索“关系”。普通 RAG图 RAG检索对象文本块子图/路径强项单跳问答多跳推理成本低高代表LangChain微软 GraphRAG图 RAG 解决的是普通 RAG “看不见关系”的问题。
2026-10-08 11:27:36
147
原创 Megatron
Megatron = 数据并行 + 张量并行 + 流水并行。张量并行:切权重,解决单层太大流水并行:切层,解决模型太深数据并行:切数据,加速训练。
2026-10-08 10:55:31
145
原创 LOSS动荡对比
ax.axvspan(150, 350, alpha=0.15, color='yellow', label='平台期')ax.axhline(2.0, color='blue', ls='--', lw=1, label='理论下限')ax.plot(steps, loss, alpha=0.3, color='gray', label='原始')ax.axvline(200, color='red', ls='--', label='开始爆炸')# 5. 梯度爆炸(loss 突然 NaN 前兆)
2026-10-08 09:57:39
192
原创 手写gpt demo
context = torch.zeros((1, 1), dtype=torch.long, device=device) # 起始 token。y = y.transpose(1, 2).contiguous().view(B, T, C) # 合并头。# 拆成多头: (B, T, C) -> (B, n_head, T, head_dim)print(f"生成 token: {out[0].tolist()}")# ---------- 超小配置(方便本地测试)----------
2026-10-08 09:40:04
162
原创 手写bert
self.seq_relationship = nn.Linear(config.hidden_size, 2) # NSP: 是/否。print(f"参数量: {sum(p.numel() for p in model.parameters()) / 1e3:.1f}K")print(f"\n分类 logits: {cls_out['logits'].shape}") # (2, 3)# 处理 attention_mask: (B, L) -> (B, 1, 1, L)
2026-10-08 09:39:24
193
原创 电商智能客服
VL 幻觉:红色说蓝色多意图:只答一半Agent 死循环:反复调工具长期记忆爆炸:10000 token离线线上不一致:6% 差距。
2026-09-30 15:19:55
265
原创 企业级 RAG
return {"graph_facts": facts, "logs": [f"[图谱] {len(facts)} 条"]}return {"fused_docs": fused, "logs": [f"[融合] {len(fused)} 篇"]}return {"vector_docs": docs, "logs": [f"[向量] {len(docs)} 篇"]}return {"bm25_docs": docs, "logs": [f"[BM25] {len(docs)} 篇"]}
2026-09-30 10:28:06
185
原创 电商问答助手
做什么:明确助手要解决哪些问题,边界在哪。输出:场景清单场景示例数据来源处理方式商品咨询"支持快充吗"商品详情RAG库存查询"有货吗"库存系统API订单查询"到哪了"订单系统API售后政策"怎么退货"政策文档RAG优惠咨询"有什么券"营销系统API闲聊"你好"LLM 直接答投诉"我要投诉"转人工关键决策✅ 哪些必须查实时数据(不能靠模型编)✅ 哪些可以模型直接答✅ 哪些必须转人工(投诉、复杂售后)坑场景没列全,上线后被各种奇葩问题打穿。
2026-09-30 10:04:48
187
原创 agent
(Dify) (你写的) (你写的) (BabyAGI) (全自动)低自治 ──────────────────────────→ 高自治。:LLM 自己定目标、自己循环、自己纠错。:别一上来就 AutoGPT,:执行后自我反思,失败就重试。:模型原生输出结构化工具调用。:固定流程 + LLM 节点。:人定流程,LLM 只填内容。:先列完整计划,再逐步执行。:你写的第一个 demo。:你写的第二个 demo。:LLM 决定调什么工具。:需要迭代改进的任务。:软件开发、复杂流程。
2026-09-29 11:06:22
143
原创 ZeRO 优化器详解
ZeRO 把数据并行中冗余的参数、梯度、优化器状态切分到各 GPU,用通信换显存。ZeRO-1切优化器状态 → 省 4×ZeRO-2再切梯度 → 省 8×ZeRO-3再切参数 → 省 N×,等价 FSDP加Offload可单卡训大模型它是 DeepSpeed 的核心,也是今天训练百 B/千 B 模型的必备基础设施。
2026-09-29 10:17:26
158
原创 大模型对齐三阶段:SFT → RLHF(PPO) → DPO 族
text2017 RLHF (Christian et al.) ─── 三阶段范式确立2020 PPO for LLM (InstructGPT) ─── PPO 成为主流2023.05 DPO (Rafailov et al.) ─── 闭式解,无需 RL2023.06 IPO (Azar et al.) ─── 解决过拟合2024.02 KTO (Ethayarajh et al.) ─── 单标签数据。
2026-09-29 09:34:22
185
原创 大模型算法 vs 传统 NLP 算法
对比传统 NLP大模型定位专才(一个任务一个模型)通才(一个模型所有任务)核心特征工程 + 任务建模Scaling Law + Prompt + 对齐交互输入 token ids输入自然语言 Prompt演进规则 → 统计 → 神经预训练 → 指令微调 → RLHF → Agent关系大模型继承了传统 NLP 的表示、结构、评估思想,但在规模、范式、通用性上发生了质变。
2026-09-29 09:30:33
456
原创 强化学习.
强化学习就是没有标准答案,只能靠试错和奖励慢慢学。它比监督学习难在"延迟奖励"和"信用分配",主流方法分值函数(学分数)、策略梯度(学动作)、Actor-Critic(两者结合)三条路线。现在最火的应用是RLHF/GRPO 训练大模型。强化学习 = 训狗。做对了给肉,做错了不给,慢慢它就学会了。
2026-09-29 09:13:55
191
原创 分类算法有哪些
线性模型、概率模型、距离/间隔模型、树模型、神经网络、集成学习。表格数据首选,图像选CNN/ViT,文本选BERT/LLM,小数据可解释选逻辑回归/决策树。没有最好,只有最适合数据和场景的。
2026-09-29 09:09:15
519
原创 大模型...
显存=2×b×s×nlayer×nkv_head×dhead×bytes显存=2×b×s×nlayer×nkv_head×dhead×bytes。:rank(8-64)、alpha(通常 2×rank)、target modules(q,k,v,o,gate,up,down):折中,Q 头分组,每组共享 K/V。:MQA(所有头共享 1 组 KV)、GQA(分组共享,如 8 组),可降 4-8 倍。结果:显存从 O(n2)O(n2) 降到 O(n)O(n),速度提升 2-4 倍,且。
2026-09-28 11:15:59
331
原创 银行语音助手提示词设计
角色定位:XX 银行智能语音客服,不是通用聊天机器人电话语音渠道(重点!和网页文字客服差异极大)语气人设:稳重、简洁、语速适配电话用户;不俏皮、不网络用语,礼貌克制边界:明确区分【智能语音助手可办理】和【必须转人工】事项身份告知规则:首次交互需要自报身份;用户询问 “你是谁” 要清晰说明是银行语音助手。
2026-09-23 15:35:47
141
原创 语音助手提示词
客户问"你是不是机器人"时,如实告知:"我是银行智能语音助手,可以帮您办理常见业务。- 禁止"根据知识库""根据系统返回""根据模型"等暴露内部机制的表述。助手:不好意思,我没太理解,您是想查询账户、办理转账,还是咨询信用卡?- 客户用"它""这个""刚才那个""那张卡"指代时,结合上文理解。助手:好的,为了您的账户安全,我先跟您核实一下身份,请问您的姓名是?- 客户:"我那张信用卡还欠多少?助手:好的,为了您的账户安全,我先跟您核实身份。- 开场:"您好,我是银行语音助手小行,请问有什么可以帮您?
2026-09-23 15:30:25
195
原创 大模型天鉴误拦
天鉴误拦,先拿日志定位是哪层、命中什么规则;再对症处理:加白名单、调阈值、上下文审核、分级放行、改写措辞。工程上要做兜底——被拦不报错,而是重试/降级/转人工。长期靠误拦反馈反哺规则,或换更适配的审核方案。高风险场景别用“改写绕过”当主要手段。
2026-09-23 11:20:40
182
03.国赛辅导:数学规划模型.vep
2019-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅