咔-CSDN博客

原创 AI Harness架构师——高精度文本分类

用户文本意图识别（咨询 / 投诉 / 好评 / 催单 / 售后咨询）+ 情绪识别（正面 / 中性 / 负面）方案是否需要标注训练语义区分能力推理速度对接难度生产推荐度纯规则匹配无需训练，仅维护词典极差极快低仅兜底TF-IDF 传统机器学习需要标注训练差快中淘汰，仅实验LLM Prompt 分类无需标注训练中等不稳定慢极低（原生支持）临时演示MiniRBT 向量检索 + Rerank无需标注训练中等偏弱中快中无标注临时过渡。

2026-06-20 18:36:30 190

原创 AI Harness架构师——Runtime

├─→ Embedding：TEI(--dtype int8) 或 Triton(ONNX INT8 backend)├─→ LLM：vLLM 或 SGLang(DeepSeek/Agent) 或 TRT-LLM(挂Triton)├─→ 老 CV检测：Triton(ONNX/TensorRT backend, YOLO/ResNet)├─→ 推荐MLP：Triton(TF SavedModel/ONNX) 或 TF Serving。✅bge-m3/e5/gte FP16可自导ONNX INT8。

2026-06-18 15:39:46 226

原创 AI Harness架构师——回顾历史

AI发展里程碑摘要（1950-2024） 1950年图灵测试奠定智能评判标准，1956年达特茅斯会议确立AI学科。1986年反向传播算法复兴神经网络，2006年CUDA突破算力瓶颈。2012年AlexNet引爆深度学习，2017年Transformer架构成为大模型基石。2018年GPT-1与BERT分划生成与理解路线，2020年GPT-3验证参数缩放定律。2022年ChatGPT普及对话AI，LLaMA推动开源生态。2023年工具链爆发，本地部署（GGUF/Ollama）、微调（LoRA）、推理（vLLM

2026-06-17 19:16:07 316

原创 AI Harness架构师——选型

AI应用有很多环节需要用到模型，不同的场景对于精度、准确度和性能有不同的需求，比如情绪识别的精度，可以开心、中性、生气三个枚举值，也可以是1-100分，这些需求会筛选出不同的模型。Encoder 模型（BERT/RoBERTa/BGE/MiniLM）速度极快、显存占用低、适合高并发，天生不做文本生成。少量（几百条）标注就能训到 95%+ 准确率。用途：摘要、规划、工具调用、生成、推理、评审特点：擅长续写 / 逻辑 / 指令跟随，延迟更高、显存更大。饱和上限定义：参数再增大，

2026-05-31 22:29:11 311

原创 AIHarness架构师—— 模型微调

运行上述代码后，在目录下，你得到的不是一个完整的模型文件，而是一个轻量级的文件夹：训练得到的增量权重矩阵（通常只有几MB到几十MB）。：记录了LoRA的配置（如r值、目标模块等）以及基础模型的名称或路径。等：分词器文件。在银行场景中，动态挂载是性价比最高的方式：你只需要维护一份庞大的基础模型在显存中，通过加载不同的文件，就能让同一个模型处理客服、风控、投顾等不同业务，极大地节省了算力成本。

2026-05-30 14:31:30 457