深度学习基础23(数据偏移what,how,why)

环境和分布偏移

许多失败的机器学习部署(即实际应用)都可以追究到这种方式。 有时,根据测试集的精度衡量,模型表现得非常出色。 但是当数据分布突然改变时,模型在部署中会出现灾难性的失败。 更隐蔽的是,有时模型的部署本身就是扰乱数据分布的催化剂。 举一个有点荒谬却可能真实存在的例子。 假设我们训练了一个贷款申请人违约风险模型,用来预测谁将偿还贷款或违约。 这个模型发现申请人的鞋子与违约风险相关(穿牛津鞋申请人会偿还,穿运动鞋申请人会违约)。 此后,这个模型可能倾向于向所有穿着牛津鞋的申请人发放贷款,并拒绝所有穿着运动鞋的申请人。

这种情况可能会带来灾难性的后果。 首先,一旦模型开始根据鞋类做出决定,顾客就会理解并改变他们的行为。 不久,所有的申请者都会穿牛津鞋,而信用度却没有相应的提高。

总而言之,机器学习的许多应用中都存在类似的问题: 通过将基于模型的决策引入环境,我们可能会破坏模型

分布偏移的类型

首先,我们考虑数据分布可能发生变化的各种方式,以及为挽救模型性能可能采取的措施。 在一个经典的情景中,假设训练数据是从某个分布𝑝𝑆(𝐱,𝑦)中采样的, 但是测试数据将包含从不同分布𝑝𝑇(𝐱,𝑦)中抽取的未标记样本。 一个清醒的现实是:如果没有任何关于𝑝𝑆和𝑝𝑇之间相互关系的假设, 学习到一个分类器是不可能的。

考虑一个二元分类问题:区分狗和猫。 如果分布可以以任意方式偏移,那么我们的情景允许病态的情况, 即输入的分布保持不变:𝑝𝑆(𝐱)=𝑝𝑇(𝐱), 但标签全部翻转:𝑝𝑆(𝑦|𝐱)=1−𝑝𝑇(𝑦|𝐱)。 换言之,如果将来所有的“猫”现在都是狗,而我们以前所说的“狗”现在是猫。

而此时输入𝑝(𝐱)的分布没有任何改变, 那么我们就不可能将这种情景与分布完全没有变化的情景区分开。

幸运的是,在对未来我们的数据可能发生变化的一些限制性假设下, 有些算法可以检测这种偏移,甚至可以动态调整,提高原始分类器的精度。

协变量偏移

在不同分布偏移中,协变量偏移可能是最为广泛研究的。

这里我们假设:虽然输入的分布可能随时间而改变, 但标签函数(即条件分布𝑃(𝑦∣𝐱))没有改变。

统计学家称之为协变量偏移(covariate shift), 因为这个问题是由于协变量(特征)分布的变化而产生的。

虽然有时我们可以在不引用因果关系的情况下对分布偏移进行推断, 但在我们认为𝐱导致𝑦的情况下,协变量偏移是一种自然假设。

考虑一下区分猫和狗的问题:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jSmyFA0x-1649154984160)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\KL0{7EG(~6OLOBRG%AK)]1XE.png)

在测试时,对图像进行分类

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HYcVMFVs-1649154984161)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image]P_(JKC0APDDFDCN)]V3U1Y4.png)

训练集由真实照片组成,而测试集只包含卡通图片。 假设在一个与测试集的特征有着本质不同的数据集上进行训练, 如果没有方法来适应新的领域,可能会有麻烦。

标签偏移

**标签偏移(label shift)**描述了与协变量偏移相反的问题。

这里我们假设标签边缘概率𝑃(𝑦)可以改变, 但是类别条件分布𝑃(𝐱∣𝑦)在不同的领域之间保持不变。

当我们认为𝑦导致𝐱时,标签偏移是一个合理的假设。

例如,预测患者的疾病,我们可能根据症状来判断, 即使疾病的相对流行率随着时间的推移而变化。

标签偏移在这里是恰当的假设,因为疾病会引起症状。

在另一些情况下,标签偏移和协变量偏移假设可以同时成立。

例如,当标签是确定的,即使𝑦导致𝐱,协变量偏移假设也会得到满足。

有趣的是,在这些情况下,使用基于标签偏移假设的方法通常是有利的。 这是因为这些方法倾向于包含看起来像标签(通常是低维)的对象, 而不是像输入(通常是高维的)对象。

概念偏移

可能会遇到概念偏移(concept shift): 当标签的定义发生变化时,就会出现这种问题。

这听起来很奇怪——一只猫就是一只猫,不是吗? 然而,其他类别会随着不同时间的用法而发生变化。

精神疾病的诊断标准、所谓的时髦、以及工作头衔等等,都是概念偏移的日常映射。

事实证明,假如我们环游美国,根据所在的地理位置改变我们的数据来源, 我们会发现关于“软饮”名称的分布发生了相当大的概念偏移,

I3F3%`142MANVVVEG8

如果我们要建立一个机器翻译系统, 𝑃(𝑦∣𝐱)的分布可能会因我们的位置不同而得到不同的翻译。 这个问题可能很难被发现。

所以,我们最好可以利用在时间或空间上逐渐发生偏移的知识。

分布偏移示例

在深入研究形式体系和算法之前,可以讨论一些协变量偏移或概念偏移可能并不明显的具体情况。

医学诊断

假设你想设计一个检测癌症的算法。 你从健康人和病人那里收集数据,然后训练你的算法。 它工作得很好,有很高的精度,然后你得出了你已经准备好在医疗诊断上取得成功的结论。 请先别着急。

收集训练数据的分布和在实际中遇到的数据分布可能有很大的不同。 这件事在一个不幸的初创公司身上发生过, 他们正在研究一种血液检测方法,主要针对一种影响老年男性的疾病, 并希望利用他们从病人身上采集的血液样本进行研究。 然而,从健康男性身上获取血样比从系统中已有的病人身上获取要困难得多。 作为补偿,这家初创公司向一所大学校园内的学生征集献血,作为开发测试的健康对照样本。 然后建立一个用于检测疾病的分类器。

正如解释的那样,用近乎完美的精度来区分健康和患病人群确实很容易。 然而,这是可能因为受试者在年龄、激素水平、体力活动、 饮食、饮酒以及其他许多与疾病无关的因素上存在差异。 这对检测疾病的分类器可能并不适用。 这些抽样可能会遇到极端的协变量偏移。 此外,这种情况不太可能通过常规方法加以纠正。

自动驾驶汽车

对于一家想利用机器学习来开发自动驾驶汽车的公司,一个关键部件是“路沿检测器”。 由于真实的注释数据获取成本很高,他们想出了一个“聪明”的想法: 将游戏渲染引擎中的合成数据用作额外的训练数据。 这对从渲染引擎中抽取的“测试数据”非常有效,但应用在一辆真正的汽车里真是一场灾难。 正如事实证明的那样,路沿被渲染成一种非常简单的纹理。 更重要的是,所有的路沿都被渲染成了相同的纹理,路沿检测器很快就学习到了这个“特征”。

当美军第一次试图在森林中探测坦克时,也发生了类似的事情。 他们在没有坦克的情况下拍摄了森林的航拍照片,然后把坦克开进森林,拍摄了另一组照片。 使用这两组数据训练的分类器似乎工作得很好。 不幸的是,分类器仅仅学会了如何区分有阴影的树和没有阴影的树: 第一组照片是在清晨拍摄的,而第二组是在中午拍摄的。

非平稳分布

当分布变化缓慢并且模型没有得到充分更新时,就会出现更微妙的情况: 非平稳分布(nonstationary distribution)。 以下是一些典型例子:

  • 训练一个计算广告模型,但却没有经常更新(例如,一个2009年训练的模型不知道一个叫iPad的不知名新设备刚刚上市)。
  • 建立一个垃圾邮件过滤器,它能很好地检测到所有垃圾邮件。但是,垃圾邮件发送者们变得聪明起来,制造出新的信息,看起来不像我们以前见过的任何垃圾邮件。
  • 建立一个产品推荐系统,它在整个冬天都有效,但圣诞节过后很久还会继续推荐圣诞帽。

更多轶事

  • 建立一个人脸检测器,它在所有基准测试中都能很好地工作,但是它在测试数据上失败了:有问题的例子是人脸充满了整个图像的特写镜头(训练集中没有这样的数据)。
  • 为美国市场建立了一个网络搜索引擎,并希望将其部署到英国。
  • 通过在一个大的数据集来训练图像分类器,其中每一个大类的数量在数据集近乎是平均的,比如1000个类别,每个类别由1000个图像表示。但是将该系统部署到真实世界中,照片的实际标签分布显然是不均匀的。

分布偏移纠正

正如我们所讨论的,在许多情况下训练和测试分布𝑃(𝐱,𝑦)是不同的。 在一些情况下,我们很幸运,不管协变量、标签或概念如何发生偏移,模型都能正常工作。

在另一些情况下,我们可以通过运用策略来应对这种偏移,从而做得更好。

经验风险与实际风险

首先在模型训练期间到底发生了什么?

训练数据{(𝐱1,𝑦1),…,(𝐱𝑛,𝑦𝑛)}的特征和相关的标签经过迭代,在每一个小批量之后更新模型𝑓的参数。

为了简单起见,不考虑正则化,因此极大地降低了训练损失:

CIQ2`_{$D2O(X1%7{)T

其中𝑙是损失函数,用来度量: 给定标签𝑦𝑖,预测𝑓(𝐱𝑖)的“糟糕程度”。 统计学家称这一项为经验风险。

经验风险(empirical risk)是为了近似 真实风险(true risk), 整个训练数据上的平均损失,即从其真实分布𝑝(𝐱,𝑦)中 抽取的所有数据的总体损失的期望值:

UPUVTE6@00EVIHLJ(VX$MY

然而在实践中,我们通常无法获得总体数据。 因此,经验风险最小化, 是一种实用的机器学习策略,希望能近似最小化真实风险。

协变量偏移纠正

假设对于带标签的数据(𝐱𝑖,𝑦𝑖), 我们要评估𝑃(𝑦∣𝐱)。 然而观测值𝐱𝑖是从某些源分布𝑞(𝐱)中得出的, 而不是从目标分布𝑝(𝐱)中得出的。

幸运的是,依赖性假设意味着条件分布保持不变,即: 𝑝(𝑦∣𝐱)=𝑞(𝑦∣𝐱)。

如果源分布𝑞(𝐱)是“错误的”, 我们可以通过在真实风险的计算中,使用以下简单的恒等式来进行纠正:

09ORYEEGL

换句话说,我们需要根据数据来自正确分布与来自错误分布的概率之比, 来重新衡量每个数据样本的权重:

$UT}%}K7HX3K{96FWU8FVI

将权重𝛽𝑖代入到每个数据样本(𝐱𝑖,𝑦𝑖)中, 我们可以使用”加权经验风险最小化“来训练模型:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kh3aAavf-1649154984162)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\V6[5S0QFX3SE[(~B%HOR)]9D.png)

由于不知道这个比率,我们需要估计它。

有许多方法都可以用,包括一些花哨的算子理论方法, 试图直接使用最小范数或最大熵原理重新校准期望算子。

对于任意一种这样的方法,我们都需要从两个分布中抽取样本:

  • “真实”的分布𝑝,通过访问测试数据获取
  • 训练集𝑞,通过人工合成的很容易获得
  • 注意,我们只需要特征𝐱∼𝑝(𝐱), 不需要访问标签𝑦∼𝑝(𝑦)

在这种情况下,有一种非常有效的方法可以得到几乎与原始方法一样好的结果: 对数几率回归(logistic regression)。

这是用于二元分类的softmax回归的一个特例。 综上所述,我们学习了一个分类器来区分从𝑝(𝐱)抽取的数据 和从𝑞(𝐱)抽取的数据。

如果无法区分这两个分布,则意味着想相关的样本可能来自这两个分布中的任何一个。

另一方面,任何可以很好区分的样本都应该相应地显著增加或减少权重。

为了简单起见,假设我们分别从𝑝(𝐱)和𝑞(𝐱)两个分布中抽取相同数量的样本。 现在用𝑧标签表示:从𝑝抽取的数据为1,从𝑞抽取的数据为−1。 然后,混合数据集中的概率由下式给出

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wvYVRpxT-1649154984162)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\08F6UPXX7W102UX%0[X00EP.png)]

因此,如果我们使用对数几率回归方法,其中
U64(1GCCR2YGFT2T
(ℎ是一个参数化函数),则很自然有:

C{T(Y95}NZZ5TB51``ZRJ70

因此,需要解决两个问题:

第一个问题是关于区分来自两个分布的数据;

第二个问题是关于加权经验风险的最小化问题。

在这个问题中,我们将对其中的项加权𝛽𝑖。

现在,来看一下完整的协变量偏移纠正算法

假设我们有一个训练集{(𝐱1,𝑦1),…,(𝐱𝑛,𝑦𝑛)} 和一个未标记的测试集{𝐮1,…,𝐮𝑚}。

对于协变量偏移,我们假设1≤𝑖≤𝑛的𝐱𝑖来自某个源分布, 𝐮𝑖来自目标分布。

以下是纠正协变量偏移的典型算法:

  1. 生成一个二元分类训练集:{(𝐱1,−1),…,(𝐱𝑛,−1),(𝐮1,1),…,(𝐮𝑚,1)}
  2. 对数几率回归训练二元分类器得到函数ℎ。
  3. 使用𝛽𝑖=exp(ℎ(𝐱𝑖))或更好的𝛽𝑖=min(exp(ℎ(𝐱𝑖)),𝑐)(𝑐为常量)对训练数据进行加权。
  4. 使用权重𝛽𝑖进行 :加权经验最小化中{(𝐱1,𝑦1),…,(𝐱𝑛,𝑦𝑛)}的训练。
注意,上述算法依赖于一个重要的假设: 需要目标分布(例如,测试分布)中的每个数据样本在训练时出现的概率非零。 如果我们找到𝑝(𝐱)>0但𝑞(𝐱)=0的点, 那么相应的重要性权重会是无穷大。

标签偏移纠正

假设我们处理的是𝑘个类别的分类任务。 𝑞和𝑝中分别是源分布(例如训练时的分布)和目标分布(例如测试时的分布)。

假设标签的分布随时间变化:𝑞(𝑦)≠𝑝(𝑦), 但类别条件分布保持不变:𝑞(𝐱∣𝑦)=𝑝(𝐱∣𝑦)。

如果源分布𝑞(𝑦)是“错误的”, 我们可以根据定义的真实风险中的恒等式进行更正:

3W03S{5RYZ6JG0CBQ3)$D

这里,重要性权重将对应于标签似然比率

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xZXA3yKW-1649154984163)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\MN94%}TCF5P{Q3448JD(V.png)]

标签偏移的一个好处是,如果我们在源分布上有一个相当好的模型, 那么我们可以得到对这些权重的一致估计,而不需要处理周边的其他维度。 在深度学习中,输入往往是高维对象(如图像),而标签通常是低维(如类别)。

为了估计目标标签分布,我们首先采用性能相当好的现成的分类器(通常基于训练数据进行训练), 并使用验证集(也来自训练分布)计算其混淆矩阵

混淆矩阵𝐂是一个𝑘×𝑘矩阵, 其中每列对应于标签类别,每行对应于模型的预测类别。

每个单元格的值𝑐𝑖𝑗是验证集中,真实标签为𝑗, 而我们的模型预测为𝑖的样本数量所占的比例。

现在,我们不能直接计算目标数据上的混淆矩阵, 因为我们无法看到真实环境下的样本的标签, 除非我们再搭建一个复杂的实时标注流程。

然而,我们所能做的是将所有模型在测试时的预测取平均数, 得到平均模型输出𝜇(𝐲̂ )∈ℝ𝑘, 其中第𝑖i个元素𝜇(𝑦̂ 𝑖)是我们模型预测测试集中𝑖的总预测分数。

结果表明,如果我们的分类器一开始就相当准确, 并且目标数据只包含我们以前见过的类别, 以及如果标签偏移假设成立(这里最强的假设), 我们就可以通过求解一个简单的线性系统来估计测试集的标签分布

𝐂𝑝(𝐲)=𝜇(𝐲̂ )

因为作为一个估计,~7R`{KV(RUDM)ABK_S)H2
对所有1≤𝑖≤𝑘成立, 其中𝑝(𝑦𝑗)是𝑘维标签分布向量𝑝(𝐲)的第𝑗th元素。

如果我们的分类器一开始就足够精确,那么混淆矩阵𝐂将是可逆的, 进而我们可以得到一个解𝑝(𝐲)=𝐂−1𝜇(𝐲̂ )

因为我们观测源数据上的标签,所以很容易估计分布𝑞(𝑦)。

那么对于标签为𝑦i的任何训练样本𝑖, 我们可以使用我们估计的𝑝(𝑦𝑖)/𝑞(𝑦𝑖)比率来计算权重𝛽𝑖, 并将其代入[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gQa3XbaC-1649154984163)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image\VSE8Q830@GBGM~1CQ(M0M58.png)]中的加权经验风险最小化中。

概念偏移纠正

概念偏移很难用原则性的方式解决。 例如,在一个问题突然从“区分猫和狗”偏移为“区分白色和黑色动物”的情况下, 除了从零开始收集新标签和训练,别无妙方。 幸运的是,在实践中这种极端的偏移是罕见的。 相反,通常情况下,概念的变化总是缓慢的。 比如下面是一些例子:

  • 在计算广告中,新产品推出后,旧产品变得不那么受欢迎了。这意味着广告的分布和受欢迎程度是逐渐变化的,任何点击率预测器都需要随之逐渐变化。
  • 由于环境的磨损,交通摄像头的镜头会逐渐退化,影响摄像头的图像质量。
  • 新闻内容逐渐变化(即新新闻的出现)。

在这种情况下,我们可以使用与训练网络相同的方法,使其适应数据的变化。 换言之,我们使用新数据更新现有的网络权重,而不是从头开始训练。

学习问题的分类法

有了如何处理分布变化的知识,我们现在可以考虑机器学习问题形式化的其他方面。

批量学习

在批量学习(batch learning)中,我们可以访问一组训练特征和标签 {(𝐱1,𝑦1),…,(𝐱𝑛,𝑦𝑛)}, 我们使用这些特性和标签训练𝑓(𝐱)。 然后,我们部署此模型来对来自同一分布的新数据(𝐱,𝑦)进行评分。

例如,我们可以根据猫和狗的大量图片训练猫检测器。 一旦我们训练了它,我们就把它作为智能猫门计算视觉系统的一部分,来控制只允许猫进入。 然后这个系统会被安装在客户家中,基本再也不会更新。

在线学习

除了“批量”地学习,我们还可以单个“在线”学习数据(𝐱𝑖,𝑦𝑖)。 更具体地说,我们首先观测到𝐱𝑖, 然后我们得出一个估计值𝑓(𝐱𝑖), 只有当我们做到这一点后,我们才观测到𝑦𝑖。

然后根据我们的决定,我们会得到奖励或损失。 许多实际问题都属于这一类。

例如,我们需要预测明天的股票价格, 这样我们就可以根据这个预测进行交易。 在一天结束时,我们会评估我们的预测是否盈利。 换句话说,在在线学习(online learning)中,我们有以下的循环。

在这个循环中,给定新的观测结果,我们会不断地改进我们的模型。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Mh2Oc78v-1649154984164)(C:\Users\Lenovo\Documents\Tencent Files\850604703\FileRecv\MobileFile\Image]IP)]2G}@5]CTW%3HP(TC54T.png)

老虎机

老虎机(bandits)是上述问题的一个特例。 虽然在大多数学习问题中,我们有一个连续参数化的函数𝑓(例如,一个深度网络)。

但在一个老虎机问题中,我们只有有限数量的手臂可以拉动。

也就是说,我们可以采取的行动是有限的。 对于这个更简单的问题,可以获得更强的最优性理论保证,这并不令人惊讶。

我们之所以列出它,主要是因为这个问题经常被视为一个单独的学习问题的情景。

控制

在很多情况下,环境会记住我们所做的事。 不一定是以一种对抗的方式,但它会记住,而且它的反应将取决于之前发生的事情。 例如,咖啡锅炉控制器将根据之前是否加热锅炉来观测到不同的温度。 在这种情况下,PID(比例—积分—微分)控制器算法是一个流行的选择。 同样,一个用户在新闻网站上的行为将取决于之前向她展示的内容(例如,大多数新闻她只阅读一次)。 许多这样的算法形成了一个环境模型,在这个模型中,他们的行为使得他们的决策看起来不那么随机。 近年来,控制理论(如PID的变体)也被用于自动调整超参数, 以获得更好的解构和重建质量,提高生成文本的多样性和生成图像的重建质量

强化学习

强化学习(reinforcement learning)强调如何基于环境而行动,以取得最大化的预期利益。

国际象棋、围棋、西洋双陆棋或星际争霸都是强化学习的应用实例。

再比如,为自动驾驶汽车制造一个控制器,或者以其他方式对自动驾驶汽车的驾驶方式做出反应 (例如,试图避开某物体,试图造成事故,或者试图与其合作)。

考虑到环境

上述不同情况之间的一个关键区别是: 在静止环境中可能一直有效的相同策略, 在环境能够改变的情况下可能不会始终有效。

例如,一个交易者发现的套利机会很可能在他开始利用它时就消失了。

环境变化的速度和方式在很大程度上决定了我们可以采用的算法类型。

例如,如果我们知道事情只会缓慢地变化, 就可以迫使任何估计也只能缓慢地发生改变。

如果我们知道环境可能会瞬间发生变化,但这种变化非常罕见, 我们就可以在使用算法时考虑到这一点。

当一个数据科学家试图解决的问题会随着时间的推移而发生变化时, 这些类型的知识至关重要。

机器学习中的公平、责任和透明度

最后,重要的是,当你部署机器学习系统时, 你不仅仅是在优化一个预测模型, 而你通常是在提供一个会被用来(部分或完全)进行自动化决策的工具。 这些技术系统可能会通过其进行的决定而影响到每个人的生活。

从考虑预测到决策的飞跃不仅提出了新的技术问题, 而且还提出了一系列必须仔细考虑的伦理问题。 如果我们正在部署一个医疗诊断系统,我们需要知道它可能适用于哪些人群,哪些人群可能无效。 忽视对一个亚群体的幸福的可预见风险可能会导致我们执行劣质的护理水平。 此外,一旦我们规划整个决策系统,我们必须退后一步,重新考虑如何评估我们的技术。 在这个视野变化所导致的结果中,我们会发现精度很少成为合适的衡量标准。

例如,当我们将预测转化为行动时,我们通常会考虑到各种方式犯错的潜在成本敏感性。 举个例子:将图像错误地分到某一类别可能被视为种族歧视,而错误地分到另一个类别是无害的, 那么我们可能需要相应地调整我们的阈值,在设计决策方式时考虑到这些社会价值。 我们还需要注意预测系统如何导致反馈循环。 例如,考虑预测性警务系统,它将巡逻人员分配到预测犯罪率较高的地区。

很容易看出一种令人担忧的模式是如何出现的:

  1. 犯罪率高的社区会得到更多的巡逻。
  2. 因此,在这些社区中会发现更多的犯罪行为,输入可用于未来迭代的训练数据。
  3. 面对更多的积极因素,该模型预测这些社区还会有更多的犯罪。
  4. 下一次迭代中,更新后的模型会更加倾向于针对同一个地区,这会导致更多的犯罪行为被发现等等。

通常,在建模纠正过程中,模型的预测与训练数据耦合的各种机制都没有得到解释, 研究人员称之为“失控反馈循环”的现象。

此外,我们首先要注意我们是否解决了正确的问题。

比如,预测算法现在在信息传播中起着巨大的中介作用,

个人看到的新闻应该由他们喜欢的Facebook页面决定吗?

这些只是机器学习职业生涯中可能遇到的令人感到“压力山大”的道德困境中的一小部分。

小结

  • 在许多情况下,训练集和测试集并不来自同一个分布。这就是所谓的分布偏移
  • 真实风险是从真实分布中抽取的所有数据的总体损失的预期。然而,这个数据总体通常是无法获得的。经验风险是训练数据的平均损失,用于近似真实风险。在实践中,我们进行经验风险最小化。
  • 在相应的假设条件下,可以在测试时检测并纠正协变量偏移和标签偏移。在测试时,不考虑这种偏移可能会成为问题。
  • 在某些情况下,环境可能会记住自动操作并以令人惊讶的方式做出响应。在构建模型时,我们必须考虑到这种可能性,并继续监控实时系统,并对我们的模型和环境以意想不到的方式纠缠在一起的可能性持开放态度。
  • 4
    点赞
  • 7
    收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
评论

打赏作者

lj_FLR

你的鼓励将是我创作的最大动力

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值