论文浅尝 | Understanding Black-box Predictions via Influence Func

最新推荐文章于 2023-08-30 21:42:27 发布
最新推荐文章于 2023-08-30 21:42:27 发布
阅读量1k 收藏 2
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/83451333
版权
该文探讨了如何运用影响函数理解机器学习模型，尤其是黑盒模型的预测过程。影响函数源于统计学，用于分析训练样本变化对模型参数的影响。文章介绍了在二阶可微凸函数条件下计算影响函数的方法，并讨论了处理非凸和非二次可微函数的策略。应用包括模型行为分析、对抗样本生成以及检测训练集一致性等。
摘要由CSDN通过智能技术生成

Cite: Koh P W, Liang P. Understanding black-box predictions via influence functions[J]. arXiv preprint arXiv:1703.04730, 2017.

链接：https://arxiv.org/pdf/1703.04730

GitHub项目地址：http://bit.ly/gt-influence


本文使用影响函数(Influence functions)这种工具来研究模型训练样本对模型预测结果的影响，并由此对黑盒模型的预测结果进行解释。

Influence functions由Cook以及Weisberg在鲁棒统计(statistics)中引入，它研究了estimator随着其输入分布变化而变化的方式。在模型训练过程中，假设修改一个训练样本的权重后，新的参数变为

640?wx_fmt=png

最低0.47元/天 解锁文章
开放知识图谱
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python库 | zeroone-ai-0.0.11.tar.gz
03-12
predictions = classifier.predict(image_path) ``` 以上代码假设`ImageClassifier`是一个类，`predict`是它的方法，接受一个图像路径作为参数并返回预测结果。 总结来说，"zeroone-ai-0.0.11.tar.gz"是一个专注于...
深度学习可解释性研究（二）： Understanding Black-box Predictions via Influence Functions（详细公式推导）
jesseyule的博客
03-06 2696
该文章从鲁棒性扰动的角度出发，对深度学习模型的可解释性进行分析。
论文笔记understanding black-box predictions via influence functions
庞琳卓的博客
09-15 6999
Purpose **To formalize the impact of a training point on a prediction, we ask the counterfactual: what would happen if we did not have this training point, or if the values of this training point w
【翻译】论文剖析：《Understanding Black Box Predictions via Influence Functions Explained》
MortonWang
07-13 1207
原文标题：Paper Dissected: Understanding Black Box Predictions via Influence Functions Explained 原文作者：Keita Kurita (Personal Page) 译文作者：Morton Wang 假设你正在训练一个图片分类器，然而模型的预测结果就像下图一样让你猝不及防： 问题：面对这种情况，你会采取怎样的措施呢？ Understanding Black Box Predictions via Influence .
Understanding black-box predictions via influence functions_1703.04730_icml_best论文理解
tonygsw的博客
07-28 2993
作者：tonygsw 论文地址：https://arxiv.org/pdf/1703.04730.pdf 论文对应的github：https://github.com/kohpangwei/influence-release 1.背景：     额。。之前去某学校夏令营中听一个老师说现在的机器学习中，用到的CNN，RNN啥的神经网络模型最大的问题就是可解释性差，对与绝大数的开发者来说：基本...
论文笔记——通过影响函数理解黑盒预测（Understanding Black-box Predictions via Influence Functions）
weixin_42582355的博客
01-23 2609
论文——Understanding Black-box Predictions via Influence Functions1. 介绍2. 方法2.1 一些定义2.2 更新（扰动）一个训练点未完待更新 1. 介绍 《Understanding Black-box Predictions via Influence Functions》 这篇paper是来自2017年的ICML best paper的，其背景在摘要部分已经写明，即为了解释黑盒预测。 所谓黑盒预测，在深度学习中，一个深层次的神经网络，往往能
ICML2017 Best Paper：Understanding Black-box Predictions via Influence Functions
yt4766269的博客
08-16 3400
1. 前言众所周知，现在很多流行的机器学习模型对于我们来说就是一个黑盒子，尤其对于深度神经网络来说，网络的解释性一直是学者们很头疼的问题。一种对机器学习模型进行解释的方法是尝试找到训练数据中对结果影响最大的那部分数据点。作者应用了稳健统计学概念中的Influence Function ，来获得损失函数关于单个数据点的变化。另外，针对该方法计算量大的问题，作者提出了高效的近似算法；针对该方法对于函数可
（2017ICML Bestpaper）Understanding Black-box Predictions via Influence Functions 笔记
alva_bobo的博客
11-16 1817
我们先讨论了模型是如何做出预测的。我们知道模型是通过训练数据得到的，我们将其写成公式，然后就知道改变训练数据以后模型会如何变化，而且我们还能通过它偏离训练数据的程度更好地理解模型的预测结果。影响函数为这些事情提供了一种高效的手段。 如何解释黑箱模型的预测呢？这篇论文利用影响函数（稳健统计学中的经典技术），通过学习算法跟踪模型的预测并追溯到训练数据，从而确定对给定预测影响最大训练点。为了将影响函数扩展到现代机器学习中，论文中设计了一个简单，高效的实现，仅需梯度oracle访问和Hessian矢量积。而且即使在
PyPI 官网下载 | modeld-python-sdk-0.3.647.tar.gz
01-28
predictions = model.predict(data) ``` 此外，SDK往往还包含了详尽的文档和示例代码，以帮助开发者快速上手。这些文档通常会解释每个函数的作用、参数和返回值，以及如何处理可能出现的异常。对于更复杂的功能，...
PyPI 官网下载 | catboost-0.26-cp27-none-manylinux1_x86_64.whl
02-03
predictions = model.predict(test_data) ``` **总结**： "PyPI 官网下载 | catboost-0.26-cp27-none-manylinux1_x86_64.whl" 提供了CatBoost库的特定版本，适用于Python 2.7的64位Linux系统。这个库主要用于机器...
何凯明大神在 ICCV2017上的 tutorial（Best Paper Award，Marr Prize）
01-02
何凯明大神在 ICCV2017上的 tutorial（Best Paper Award，Marr Prize），配合论文学习理解更好。
open-hvps：用于盖革计数器的开源HVS
02-08
开放式高压电源 该项目的重点是创建高性能，非常紧凑且理想情况下电流消耗极低的全开式高压电源
Python-使用Hessian向量积和随机幂迭代的高效PyTorchHessian特征分解
08-11
Efficient PyTorch Hessian eigendecomposition using the Hessian-vector product and stochastic power iteration
PyPI 官网下载 | catboost-0.10.0-cp37-none-win_amd64.whl
02-08
predictions = model.predict(X_new) ``` 除了基本的使用，CatBoost还支持处理类别型特征、自定义损失函数、并行计算和GPU加速等功能，为开发者提供了丰富的定制选项。此外，CatBoost的文档详尽且示例丰富，是学习...
Python库 | catboost-0.1.1.2-py3-none-manylinux1_x86_64.whl
02-15
predictions = model.predict(test_data) # 评估 accuracy = model.evaluate(test_data, test_labels) ``` **4. 应用场景** CatBoost广泛应用于各种领域，包括但不限于： - 推荐系统：预测用户可能感兴趣的内容。...
ICML 2017 Best Paper理解
dreamweaverccc的博客
07-13 2348
2017年ICML的最佳论文奖被来自于斯坦福大学的Pang Wei Koh和Percy Liang拿下，论文名是《Understanding Black-box Predictions via Influence Functions》，研究内容是关于神经网络的可解释性。...
Understanding black-box predictions via influence functions
ujn20161222的博客
01-23 206
author: explanation https://blog.csdn.net/panglinzhuo/article/details/77992306 https://www.leiphone.com/news/201708/Hbjv7EcuXTYQlLk2.html codalab https://worksheets.codalab.org/worksheets/0x2...
Understanding Black-box Predictions via Influence Functions阅读笔记
最新发布
qq_49323609的博客
08-30 328
Understanding Black-box Predictions via Influence Functions阅读笔记，主要对利用影响函数的4个案例进行理解。
Understanding Black-box Predictions via Influence Functions
MTandHJ的博客
05-21 397
文章目录概主要内容样本重要性分析样本摄动对损失的影响高效计算H−1H^{-1}H−1共轭梯度随机估计一些应用附录(1)的证明 Koh P W, Liang P. Understanding black-box predictions via influence functions[C]. international conference on machine learning, 2017: 1885-1894. @article{koh2017understanding, title={Understa
Select high-confidence predictions代码怎么写
06-02
这个问题需要具体指明是在哪个领域或者是使用哪种算法进行预测。但我可以给出一个通用的思路。 对于任何一种预测算法，可以通过给定一个阈值，将预测结果中置信度高于这个阈值的结果筛选出来，作为高置信度的预测结果。比如在机器学习中，可以使用分类器的预测概率来作为置信度，设定一个概率阈值，将概率大于该阈值的预测结果保留下来。在深度学习中，可以使用神经网络的softmax输出结果作为置信度，类似地设定一个阈值，将输出结果中置信度高于该阈值的结果筛选出来。 下面是一个示例的伪代码： ``` def select_high_confidence_predictions(predictions, threshold): high_confidence_predictions = [] for prediction in predictions: confidence = get_confidence(prediction) # 获取预测结果的置信度 if confidence >= threshold: high_confidence_predictions.append(prediction) return high_confidence_predictions ``` 在具体实现中，需要根据不同的预测算法和模型结构，编写对应的获取置信度的函数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值