Badcase归因分析“四部曲”

已于 2025-01-27 10:21:07 修改
阅读量1.5k 收藏 16
点赞数 35
分类专栏： 工作通用方法论 文章标签： 算法 人工智能 机器学习
于 2025-01-27 10:15:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25438419/article/details/145370038
版权

本文原创作者：姚瑞南 AI-agent 大模型运营专家，先后任职于美团、猎聘等中大厂AI训练专家和智能运营专家岗；多年人工智能行业智能产品运营及大模型落地经验，拥有AI外呼方向国家专利与PMP项目管理证书。（转载需经授权）  

目录

一、什么是bad case？

二、为什么要做bad case分析？

三、如何做bad case分析？

一、什么是bad case？

badcase是业内的专业名词，简单解释一下。bad是坏，case是案例，说白了就是模型或者具体规则无法很好预测的那些案例。以分类模型为例，本来一个样本应该是负类的，结果预测为正类，那这个样本就能被称为bad case。那相对应的就是good case就是优秀案例。

二、为什么要做bad case分析？

最低0.47元/天 解锁文章
LLM - 大模型服务中处理 Badcase 的 SOP 教程
AGI
03-31 483
在大模型服务中，处理 Badcase 是复杂且重要的任务。通过增加前置模块，过滤或处理显而易见的错误，例如敏感词检测、高频问题快速响应等。对于复杂的 Badcase，后处理模块对于模型输出，进行二次过滤或修正，比如模型可能产生的“幻觉”内容，进行过滤。调整 Prompt 也是有效的方法，通过优化输入的提示语，引导模型生成更符合需求的结果。如果 Badcase 的问题较为普遍且影响较大，也考虑对模型进行微调，通过有监督微调(SFT)，让模型学习错误案例，提升整体性能。
运营模型—归因分析(Attribution Analysis)
热门推荐
05-11 6万+
归因分析是数据驱动决策的重要工具，它帮助企业量化不同因素对业务结果的影响，从而做出更加精准的策略调整。通过选择合适的归因模型和工具，企业可以实现归因分析的自动化和实时化，提升营销效率和产品体验。
【虚拟客服】风险场景识别badcase运营方案（美团单车）
最新发布
qq_25438419的博客
02-28 1279
​高​中​低​高：频率较高、大量常用的用户说法未识别或者识别错误较大程度影响线上效果及用户体验；​中：频率适中、一般常用的用户说法未识别或者识别错误一般程度影响线上效果及用户体验；​低：频率较低、不常用用户说法未识别或者识别错误较小程度影响线上效果及用户体验；
captum 分析(二) badcase分析
weixin_45955767的博客
08-22 1157
计算前向传播函数 def squad_pos_forward_func(input_ids, attention_mask, position=0): pred = model(input_ids, attention_mask) # 获取预测结果 pred = pred[position] # 当 position 为 0 时，取的是起始位置所在的分布，为 1 时，取的是结束位置所在的分布 return pred.max(1).values # 取分布的最大值，即预测结果
ML&DEV[13] | bad case分析
baidu_25854831的博客
02-23 2163
【ML&DEV】这是大家没有看过的船新栏目！ML表示机器学习，DEV表示开发，本专栏旨在为大家分享作为算法工程师的工作，机器学习生态下的有关模型方法和技术，从数据生产到模型部署维...
LLM：badcase分析
qq_43814415的博客
10-21 640
bad case分析是了解业务、了解场景的重要途径，知道当前研究、实践中容易出现的问题，往通俗的说，吸收经验的重要途径。分析badcase必须要先了解目前模型的效果，也就是baseline，知道该往哪个方向努力。
bad case分析
qq_28057379的博客
10-28 346
bad case分析
推荐模型的案例分析-【突破瓶颈期和bad case study】-- 编辑中
ciecus_csdn的博客
07-08 1110
文章目录突破瓶颈期识别瓶颈查case解决瓶颈针对原有模型的优化调整模型的优化BAD CASE解决具体bad case 分析 现在主流的推荐链路可以划分为“召回–>粗排–>精排–>重排”四个阶段，也可以简化成“召回–>排序”两个阶段。 模型从0–>1的演进和1–>n的阶段不同，面临的问题也不同，这里主要关注1–>n的提升，分为突破瓶颈期和bad case解决两个部分。 突破瓶颈期 突破瓶颈期最核心的因素是识别什么是模型瓶颈，然后去定向优化解决。所以这里线介绍几个识别瓶
基于Barra模型的业绩归因分析1
08-03
【Barra模型】Barra模型是一种广泛应用于金融市场的多因子模型，主要用于业绩归因分析，旨在解释投资组合的收益来源。该模型的核心是将投资组合的收益率分解为多个风格因子和行业因子的贡献，帮助投资者理解投资表现...
归因分析（Attribution Analysis）
weixin_43156294的博客
06-11 1184
归因分析（Attribution Analysis）是一种评估不同因素对结果影响大小的方法。它通常用于市场营销、社会科学、心理学等领域，以确定哪些因素对特定结果的贡献最大。
SVM可视化分类平面、支持向量、bad case
07-22
三维二分类任务，SVM可视化源代码以及数据文件。 对SVM分类平面，支持向量，bad case进行可视化分析。
模型效果上限预估、分类模型Bad Case分析方法
杨旭东的专栏
09-30 2096
模型效果上限预估、分类模型Bad Case分析方法 给定训练和测试数据集，训练某个二分类模型（如，GBDT算法），我们通过交叉验证的方法得到了一组最优超参数以及对应的最优模型，但在测试集上这个模型仍有一定的误差率，也就说模型的预测结果存在一定数量的bad case。那么，目前的模型逼近了效果的上限了吗？ 这些bad case有可能被解决吗？如果可以，该如何解决呢？ 回答这些问题的前提条件是样本和特征已经固定下来，本文不讨论那些数据集本身还在迭代变化的情况。 一、两类Bad Case 标签正确的困难样本。模
情感分析badcase分析
qianyongismydream的博客
05-24 4675
训练数据集：有157637条， 主要由酒店评论数据10000条、财经（主要是股市类）评论数据、微博评论数据（社会类、闲聊） 训练集数据存在重复：去重后有150875 训练集分布：正面：负面：中性 占比为： 训练集使用word2vec+DBSCAN 后有5861个类，详细统计如下： 类别 定义 样本数 簇个数 大簇 ...
badcase 探索与召回分析
MusicDancing的博客
12-29 787
112233
心法利器[39] | bad case治疗术：分析篇
baidu_25854831的博客
10-06 929
心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有近期，我再次总结了我的历史文章，累积起来有50w字，百余篇文章了...
多标签分类模型验证结果badcase查找与存储
祥瑞的技术博客
05-16 4890
背景：模型错误有标签True，判别负；标签负，判别正。因此需要将模型的True_negative与模型的False_positive的错误预测写为list，并且将相应的错误文件名找出。 目录 一、根据预测结果找出badcase 1.1 写出模型预测结果 1.2 根据结果算出指标 1.3 加入错误样本矩阵 二、每类的badcase 2.1 根据标签创建list 2.2 将相应的指引矩...
大模型-badcase处理
sgliquangang的专栏
05-29 548
1、参考文章：https://hub.baai.ac.cn/view/32791。
NLP.TM[22] | 如何修正NLP问题的bad case
baidu_25854831的博客
11-24 1446
【NLP.TM】本人有关自然语言处理和文本挖掘方面的学习和笔记，欢迎大家关注。往期回顾：NLP问题，大都至少是个统计类问题，对整个数据集进行分析，然后给出概率最大的结果，...
如何发现和解决产品中的 badcase
m0_71672444的博客
11-13 1859
一、发现产品中的 badcase用户反馈收集数据分析内部测试与体验竞品对比二、解决产品中的 badcase
归因分析 python
09-16
归因分析是一种用于确定不同渠道对于特定目标的贡献度的方法。在python中，可以使用马尔科夫链归因模型来进行归因分析。马尔科夫链归因模型是基于马尔科夫链的概率模型，通过计算不同渠道的Shapley值来衡量它们对于目标的影响。 具体步骤如下： 1. 导入必要的库和模块，如simplified_shapley_attribution_model和json。 2. 读取数据，可以使用json.load()函数来加载数据。 3. 创建SimplifiedShapleyAttributionModel的实例。 4. 使用attribute()方法计算归因结果。 5. 输出结果，可以打印出每个渠道的归因值和总的归因值。 下面是一个示例代码： ```python from simplified_shapley_attribution_model import SimplifiedShapleyAttributionModel import json with open("data/sample.json", "r") as f: journeys = json.load(f) o = SimplifiedShapleyAttributionModel() result = o.attribute(journeys) print(f"Total value: {len(journeys)}") total = 0 for k, v in result.items(): print(f"Channel {k}: {v:.2f}") total += v print(f"Total of attributed values: {total:.2f}") ``` 以上代码假设你的数据存储在名为sample.json的文件中，并且数据的格式符合模型的要求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值