风口IT猪的成长录

Dynamic Masks、Partial Dependence Plots (PDP)、Individual Conditional Expectation (ICE)、Permutation Feature Importance 和 Counterfactual Explanations 都是用于解释机器学习模型的技术，尤其是那些用于表格数据的模型。每种方法都有其独特的特点和应用场景。

首先，计算出特征变量” 区块大小 “在某一点对预测值的影响：如下图所示将空间划分成一系列区间，假设某一点落在 N（7) 这个区间内，使用模型计算出该区间左右两个边界点处的预测值，两个预测值相减后的差值即能反映出变量在这一点对目标的影响大小。已知：训练出的模型，特征矩阵，目标变量以及损失函数；个体条件期望图消除了非均匀效应的影响，它的原理和实现方法如下：对某一个体，保持其他变量不变，随机置换我们选定的特征变量的取值，放入黑箱模型输出预测结果，最后绘制出针对这个个体的单一特征变量与预测值之间的关系图。

我们在新数据上训练出一个简单模型（通常是线性模型），并使用最重要的特征进行预测。最重要的特征有不同的决定方法，在指定加入模型解释中的特征数量（通常在5到10附近）的前提下，可以选择在使用复杂模型进行预测时回归拟合上具有最高权重的特征运用正向选择，选择可以提高复杂模型的预测的回归拟合的变量在复杂的机器学习模型预测的基础上，选择正则化的收缩率最小的lasso预测拟合的特征使用不多于我们已经选择了的特征的节点数量来构建决策树。

表格型数据（Tabular Data）：若干特征的集合，可以是连续型（continuous）或离散型（discrete）特征。

预测移动流量模式的能力对于移动网络运营商的资源管理和地方当局的规划至关重要。多个深度神经网络 (DNN) 旨在大规模捕获移动流量模式的复杂时空特征。这些模型是复杂的黑匣子，其决策本质上很难解释。更糟糕的是，事实证明它们很容易受到对抗性攻击，从而破坏了它们在生产网络中的适用性。在本文中，我们首次深入研究了用于大规模移动流量预测的 DNN 的漏洞。我们提出了 DEEXP，这是一种新工具，它利用可解释人工智能 (XAI) 从时空角度了解哪些基站 (BS) 对预测更有影响力。挑战。

给定从平稳分布D中采样的未标记负数据(即正常数据)X用于训练，无监督模型估计概率密度函数f(X)≈PX ~ D(X)，并通过低概率f(X) < φ检测异常，

给定从平稳分布D中采样的未标记负数据(即正常数据)X用于训练，无监督模型估计概率密度函数f(X)≈PX ~ D(X)，并通过低概率f(X) < φ检测异常，

这部分简要概述了整篇论文的主要内容和贡献。ContraLSP对比学习和局部稀疏扰动来解释时间序列数据。简单来说，这个模型试图找出在时间序列中哪些部分是重要的，并且通过添加一些不影响整体结果的“噪音”来验证这些部分的重要性。论文声称，他们在多个数据集上测试了这个模型，并且发现它比现有的方法更好。更强的时间序列模型解释工具：ContraLSP通过对比学习整合了反事实样本，以构建领域内的无信息扰动。样本特定的稀疏门：ContraLSP集成了样本特定的稀疏门作为掩码指示器，生成时间序列上的二值偏斜掩码。

BRCG采用监督学习算法对可解释模型进行二元分类训练。

之前的研究主要集中在（IDS），它采用离线训练来保护物联网系统。然而，这种静态 IDS 很难应对现实场景，在现实场景中，，因此需要动态且适应性强的 IDS。为了应对这一挑战，我们提出了 AOC-IDS，这是一种新型在线 IDS，具有自主异常检测模块（ADM）和用于持续适应的免人工在线框架。为了，ADM 采用自动编码器 (AE) 和定制的簇排斥对比 (CRC) 损失函数，从在线环境中的有限或增量输入数据生成独特的表示。

近年来，基于机器学习的入侵检测系统(ids)已被证明是有效的;特别是，深度神经网络提高了入侵检测模型的检测率。然而，随着模型变得越来越复杂，人们很难得到决策背后的解释。与此同时，大多数关于模型解释的工作集中在计算机视觉、自然语言处理和生物学等其他领域。这导致在实际应用中，网络安全专家很难根据模型的判断来优化决策。为了解决这些问题，本文提出了一个解释ids的框架。该框架使用，并结合局部和全局解释来改进对ids的解释。。全局解释给出了。同时，比较了单对全分类器和多分类器两种不同分类器的解释效果。

尽管可解释人工智能(XAI)领域近来备受关注，但其在网络安全应用中的实现仍需要进一步研究，以了解其在发现攻击面和向量方面的有效性。在网络防御中，特别是基于异常的入侵检测系统(IDS)，。本文提出了一种新颖的可解释的物联网（IoT）网络入侵检测框架。我们开发了一种 IDS，使用短期长记忆 (LSTM) 模型来识别网络攻击并解释模型的决策。

下一代移动网络依赖于预测流量模式的能力来进行资源管理。预测目标：如流量负载、带宽或信道频谱利用率，并随时间测量。长短期记忆(LSTM)被证明在这项任务中非常成功。然而，模型固有的复杂性难以解释，阻碍了在生产网络中的部署。更糟糕的是，主要用于计算机视觉和自然语言处理的可解释人工智能(XAI)技术无法提供有用的见解:它们对输入的时间特征视而不见，只能很好地处理图像或文本等高度丰富的语义数据。

在许多应用中，理解一个模型为什么会做出某种预测与预测的准确性一样重要。然而，大型现代数据集的最高精度通常是通过复杂的模型来实现的，即使专家也很难解释，比如集成或深度学习模型，这在准确性和可解释性之间造成了紧张关系。SHAP为每个特征分配一个特定预测的重要值。它的新组成部分包括：(1)识别一类新的可加性特征重要性测度，以及(2)理论结果表明在该类中存在具有一组理想性质的唯一解。新类统一了六个现有方法，值得注意的是，这个类中最近的几个方法缺乏所建议的理想属性。

我们强烈希望在现实世界中使用算法。但是，为了实现这一点，最终用户需要确信他们可以信任算法的输出。建立这种信任不仅需要算法产生准确的结果，还需要算法解释为什么会得到这些结果。从最后一个问题中出现了一个新的领域:可解释人工智能(XAI)。深度学习从这个领域中受益匪浅，尤其是在分类任务中。大量致力于深层解释方法的工作和调查可以证明这一点。其他机器学习任务，如异常检测，在解释算法输出时受到的关注较少。本文主要讨论异常解释。我们的贡献是对异常解释方法进行了分类，并分析了异常解释可能采取的不同形式。

（和验证）数据中，而部署时不会出现，这可能会提高准确性。另一个特别难以检测的问题是数据集移位 [5]，其中训练数据与测试数据不同（我们稍后会在著名的 20 个新闻组数据集中给出一个例子）。解释给出的见解对于确定必须采取哪些措施将不可信模型转换为可信模型特别有帮助 - 例如，删除泄露的数据或更改训练数据以避免数据集转移。机器学习从业者通常必须从多个替代方案中选择一个模型，这。

换句话说，我们考虑的是在所有可能的排序中，有该特征和没有该特征的模型的性能差异。

许多所谓的 "可解释 "模型基本上都有特定的方法。其中许多方法都是。让我们来了解其中的一些方法。图 1：著名的可解释预测系统。

为了显示所有乘客的 SHAP 值摘要，我使用了摘要图，如下所示。该图按颜色显示特征值，红色为最大值，蓝色为最小值。因此，分类特征 "性别 "只有两种颜色。水平位置表示对样本结果的具体影响，垂直位置表示特征的重要性。从图中可以看出，在生存率方面，女性多为正面影响，男性多为负面影响。然而，"年龄 "特征却不那么明显。它的大部分数值都分布在 x 轴上。

机器学习是最近许多科技进步的核心。随着计算机在围棋等游戏中击败专业人士，许多人开始询问，机器是否也能成为更好的司机，甚至更好的医生。如果⼀个机器学习模型运⾏良好，为什么我们仅仅信任该模型⽽忽略为什么做出特定的决策呢？诸如分类准确性之类的单⼀指标⽆法完整地描述⼤多数实际任务。当涉及到预测模型时，需要作出权衡：**你是只想知道预测是什么？**例如，客户流失的概率或某种药物对病⼈的疗效。**还是想知道为什么做出这样的预测？**这种情况下可能为了可解释性付出预测性能下降的代价。

论文提出了原型的概念，把对图像的判断机制拆解为人类思维方式中的各种原子能力，根据人判断的机理来分类图像。一个真实的例子，有一个 Benchmark Corpus，叫做 PASCAL VOC 2007，裡面有各式各样的物件，机器要学习做影像的分类，机器看到这张图片，它知道是马的图片，但如果你画 Saliency Map 的话，发现左下角对马是最重要，因為左下角有一串英文，这个图库裡面马的图片很多都是来自於某一个网站，左下角都有一样的英文，所以机器看到左下角这一行英文就知道是马，根本不需要学习马是长什么样子。

因此，我们的。

以便进行更直接的比较。最后，我们讨论这些方法的。

(IoT)广泛地应用渗透到我们的日常生活中。：物联网设备缺乏足够的安全功能，使物联网生态系统容易受到各种网络入侵攻击，可能造成严重破坏。：已经探索了使用机器学习来构建异常检测模型来防御此类攻击。：提出了一个联邦对比学习框架FeCo，用于协调网络内物联网设备共同学习入侵检测模型。FeCo利用来减轻用户对隐私的担忧，因为参与的设备只提交它们的，而不是本地数据。我们开发了一种新的基于对比学习的方法，能够为良性类学习更准确的模型。与以往的工作相比，。

提高了模型的可解释性，提高了模型在低数据状态下的性能和泛化能力。介绍了几种。

DomiKnowS: A Library for Integration of Symbolic Domain Knowledgein Deep Learning

论文速递：Semantic Loss: A New Neuro-Symbolic Approach for Context-AwareHuman Activity Recognition

Prompts显着提高了预训练大型语言模型（LLM）在各种下游任务上的性能，使其对于各种 LLM 应用场景越来越不可或缺。进行了广泛的实验，评估了的有效性、保真度和鲁棒性。：我们的研究结果强调了对，并强调了在这一领域进一步研究的必要性。

LLM很容易产生幻觉，这主要源于模型中的知识差距。：通过整合外部知识来增强llm，旨在减少幻觉并提高推理准确性。

我们提出了MicShield，这是一种配套设备，它首次可以防止 VA 录制私人语音而不影响 VA 的正常功能。假设 VA 不可信，MicShield 会不断发出干扰信号以使 VA 震耳欲聋。与此同时，它会继续监听，并在感知到唤醒词出现时立即停止干扰。MicShield 离线工作，保留所有本地处理并立即粉碎语音数据。因此，它不会受到始终监听、云操作的虚拟助理带来的隐私风险的影响。存在问题挑战首先，连续干扰的直接方式不仅会抑制私人言论，还会抑制唤醒词。为了克服这个困境，

大语言模型在类人类预测性能取得显著的成功。但由于训练代价昂贵，利用微调使LLM适应各种实际应用已经成为一种主流策略。是直接影响到和。

*Speaker recognition (SR)**作为一种生物特征认证或识别机制广泛应用于我们的日常生活中。本篇论文全面了解SR系统在实际黑盒环境中的安全弱点。生成对抗样本是一个优化问题，结合对抗性样本的置信度和最大失真来平衡对抗性声音的强度和不可感知性。FAKEBOB用来制作对抗性样本的算法，其中的一个关键贡献是提出了一种新的算法来估计分数阈值（SRS 中的一个特征），并将其用于优化问题来解决优化问题，取得了标杆的效果。

多模态数据流和深度学习算法的潜力不断增长，促进了深度多模态学习的日益普及。这涉及开发能够统一处理和分析多模态信息的模型。多模态数据表示、多模态融合(即传统和基于深度学习的方案)、多任务学习、多模态对齐、多模态迁移学习和零采样学习。

对来自多个异构和相互关联的数据源的信息进行和。这是一个具有挑战性但又至关重要的领域，在多媒体、情感计算、机器人、金融、HCI和医疗保健等领域有许多实际应用。是一个多学科研究领域，它通过集成和建模多种交流模式(包括语言、声学和视觉信息)来解决人工智能的一些原始目标。

多模态机器学习是对通过使用多模态数据集来学习和提高性能的计算机算法的研究。多模态深度学习是机器学习的一个子领域，旨在训练人工智能模型处理不同类型的数据（模态）–通常是图像、视频、音频和文本–并发现它们之间的关系。通过结合不同的模态，深度学习模型可以更全面地理解环境，因为有些线索只存在于某些模态中。想象一下情绪识别任务。这不仅仅是看一张人脸（视觉模式）那么简单。一个人声音的音调和音高（音频模式）编码了有关其情绪状态的大量信息，这些信息可能无法通过面部表情看到，即使他们经常同步。

多模式深度学习是一个机器学习子领域，旨在训练人工智能模型来处理和发现不同类型数据（模式）之间的关系——通常是图像、视频、音频和文本。通过结合不同的模态，深度学习模型可以更普遍地理解其环境，因为某些线索仅存在于某些模态中。想象一下情绪识别的任务。它不仅仅是看一张人脸（视觉模态）。一个人的声音**（音频模态）的音调和音高编码了大量关于他们情绪状态的信息**，这些信息可能无法通过他们的面部表情看到，即使他们经常是同步的。在多模态深度学习中，最典型的模态是视觉（图像、视频）、文本和听觉（语音、声音、音乐。

此研究方向可参考文章。

在计算机视觉领域，对抗攻击（adversarial attack）旨在通过向图片中添加人眼无法感知的噪音以欺骗诸如图像分类、目标识别等机器学习模型。如下图所示，输入原图像，图像分类器给出的结果为“是熊猫的概率为57.7%”，而在给原图像加上一段噪音后，结果变成了“是长臂猿的概率为99.3%”，但对于人类来说，这两张图片几乎是一模一样的。经噪音干扰后的图像被称为对抗样本对抗攻击的主要研究内容之一就是如何获得这种噪音来生成对抗样本。

如果您正在阅读本文，希望您能体会到某些机器学习模型的有效性。 研究不断推动 ML 模型更快，更准确和更高效。 但是，设计和训练模型的一个经常被忽略的方面是安全性和鲁棒性，尤其是在面对想要欺骗模型的对手的情况下。本教程将提高您对 ML 模型的安全漏洞的认识，并深入了解对抗性机器学习的热门话题。 您可能会惊讶地发现，在图像上添加无法察觉的扰动会导致完全不同的模型表现。 鉴于这是一个教程，我们将通过图像分类器上的示例来探讨该主题。 具体而言，我们将使用最流行的一种攻击方法，即快速梯度符号攻击（FGSM）来欺骗