人工智能可解释性分析
文章平均质量分 82
可解释性分析导论,以及常用方法及代码
笑傲江湖2023
这个作者很懒,什么都没留下…
展开
-
人工智能可解释性分析(一)导论(初稿)
让人工智能教人类学习,德国一个激光加工企业博士,发现利用激光加工过程中,有些参数会发生变化,这会影响加工质量,而想要得到这些参数,必须停机才可以,但停机的成本又太高,于是他用神经网络训练了可以实时预测参数的模型,准确率很高,然后他用可解释性分析,可视化的分析了如何获得这个参数,工人根据可视化过程去学习推算参数,竟然真的提高了很多,这个方法很简单,但这个应用场景下却从未有人成果尝试,于是这个博士,横扫了改领域的论文。:就是得到卷积核参数,和其对应的特征图,卷积核又分浅层,中层,高层,不同层提取的特征不同。原创 2023-08-04 20:09:10 · 588 阅读 · 0 评论 -
人工智能可解释性(二)(梯度计算,积分梯度等)
可以分为事前可解释性和事后可解释性,事后可解释性又分为全局解释和局部解释。事前(ante-hoc)可解释性:指通过训练结构简单、可解释性好的模型或将可解释性结合到具体的模型结构中的自解释模型使模型本身具备可解释能力。事后(post-hoc)可解释性:指通过开发可解释性技术解释已训练好的机器学习模型。根据解释目标和解释对象的不同,post-hoc可解释性又可分为全局可解释性(global interpretability)和局部可解释性(local interpretability)。原创 2023-08-11 14:36:56 · 529 阅读 · 0 评论 -
强化学习可解释性分析
强化学习可解释性(Explainable Reinforcement Learning, XRL)是人工智能可解释性 (Explainable Artificial Intelligence, XAI)的子问题,用于增强人对模型理解,目前XRL尚无统一的可解释性方法,所以在研究XRL时要参考父类XAI的方法。在寻找共性的同时,找到自己的特性。传统算法,比如排序问题,二元方程,我们都有固定的解法答案,但智能算法,通常我们是在用现阶段最优的方法,找到最优的答案,是最接近正确答案的答案,但不是正确的答案。原创 2023-08-08 18:51:36 · 351 阅读 · 0 评论 -
CAM,PradCAM,layer CAM(可解释性分析方法)
尽管CAM在计算机视觉领域起到了解释性的作用,但同时也要注意到,CAM只能关注模型得到结果依据的特征是什么,它依然不能从根本上解释神经网络在做什么。真正意义上的可解释性分析,应该有一个通用模型,而不是一个计算模型,一个解释模型,因为这两个模型还是不同的,这样的解释模型也无法百分之百保证对计算模型的解释是正确的。原创 2023-08-05 17:06:06 · 1003 阅读 · 0 评论 -
LIME(可解释性分析方法)
简单理解对于分类任务:如下图所示,LIME可以列出分类结果,所依据特征对应给比重。对于图像分类任务:如下图所示,可以标记出,分类结果对应的特征。并且可以表示出那些特征具有正向贡献,那些特征具有负向贡献。对文本数据:如下图预测一封邮件是无神论还是有神论内容,可以给出预测结果对应的单词的比重。原创 2023-08-05 18:29:49 · 886 阅读 · 0 评论 -
可解释性分析的一些类别(草稿)(视觉)
视觉领域从2020年开始可以分为两块,一个是图像分类,一个是图像生成。图像分类:输入一张图片,输出语义标签,就是这张图里面有什么。可解释性方法:CAM等生成模型:输入语义标签(就是想要什么图),或者噪声,得到一张图片。原创 2023-08-07 17:20:18 · 176 阅读 · 0 评论