ColloSSL: Collaborative Self-Supervised Learning for Human Activity Recognition论文精读

ColloSSL论文学习

摘要

1. 本文的关键观点

多个设备同时捕获的未标记传感器数据集可以被视为彼此之间的自然转换，并用于生成表示学习的监督信号。

2. 有三个设计方式来提高其表示能力

   1. 设备选取

   2. 对比学习采样方式

   3. 多视图对比损失函数

写作风格：先写现在HAR遇到的问题（就是监督学习需要大量的有标签数据，但是收集有标签的数据比较困难，所以我们使用自监督的方式去做这些HAR的下游任务）；之后写自己使用的什么自监督方法，有什么前提，写使用了什么设计方式起到了什么样的作用（作用即为在数据集上面的表现，体现作用的优劣）

引言

写作风格：先写HAR的不足（监督学习）-》自监督学习-》本文的工作（…结尾就写为什么叫xxx)-》介绍文章架构-》介绍本文贡献（其中一个贡献写数据集表现，一个写提出了个xxx方法能解决什么问题，一个写这个提出的方法有什么子方法能干什么）

论文的引言部分介绍了人类活动识别（HAR）应用在移动和可穿戴设备上的采用情况。随着计算模型在处理原始传感器数据以推断人类活动方面的进展，HAR应用在过去几十年中显著增加。通常，这些计算模型是使用监督学习进行训练的，即需要一组带有标签的数据样本来训练模型。最近，随着数据需求量大的深度学习模型在HAR中的流行，大规模标记训练数据的需求变得更加突出。然而，先前的研究指出，在实验室环境之外收集大规模标记的HAR数据是困难的。标记HAR数据集的一个关键瓶颈是传感器流（例如加速度计跟踪）不易通过视觉检查进行解释，这使得任何事后标记工作都变得非常困难。这一挑战的直接结果是HAR数据收集工作通常在小规模、受控或半受控的环境中进行，并且主要涉及少于50名参与者，从而导致模型在现实生活中无法泛化。

与数据标记的挑战相比，收集未标记的HAR数据要容易得多，这是由于我们日常生活中传感器设备（例如智能手机、可穿戴设备）的普及性。因此，在HAR文献中，利用未标记数据进行训练的机器学习方法越来越受到重视。在这个方向上最令人兴奋的范式之一是自监督学习（SSL），其核心思想是利用（未标记的）输入数据中存在的内在结构来推导出监督信号。通常，这是通过定义一个预设任务来完成的，其中将一组预定义的转换应用于输入数据，并训练一个深度神经网络来预测数据中的这些转换。例如，在图像数据集中，预设任务可能涉及将输入图像旋转60°，并训练深度神经网络学习原始图像和旋转后的图像共享相同的嵌入。我们通常对模型在预设任务上的准确性不感兴趣，而是关注模型学习到的中间表示（或特征），期望这些特征能够携带有关信号的良好语义或结构信息，对各种下游任务有用。

我们研究一种称为时间同步多设备系统(TSMDS)的问题设置，它为自我监督学习打开了一个尚未探索的机会。我们可以将TSMDS设置中来自不同设备的数据解释为彼此之间的自然转换，并利用它来设计自我监督的对比学习算法。在这里，不同的设备在自我监督学习的过程中相互协作;因此我们称这种方法为协作式自我监督学习

相关工作

写作风格：比如我要做的生成式自监督，我就得先写HAR在监督学习的工作，而后写HAR自监督学习的工作，同时再写对应他人工作时需要突出自己工作的优越性，讲述他们的缺点。

准备工作

两个假设

假设多设备系统中的所有传感器设备共享相同的传感器采样率，或者它们的数据可以以相同的采样率重新采样。这种假设确保了将被提供给HAR模型的数据的维度在不同设备之间保持一致，并简化了HAR模型的神经网络体系结构的设计。

假设TSMDS设置中的多个设备以时间对齐的方式收集传感器数据。不可否认，在现实世界的应用中，跨多个设备的传感器数据集是完全时间对齐的假设是很强大的。可能存在时间戳噪声或跨设备的系统时钟不对齐，这可能会扭曲多设备数据集的时间对齐。然而，HAR中先前的研究[55]表明，加速度计和陀螺仪传感器的时间戳噪声非常小，通常小于10ms。我们假设这样的小噪声不会降低我们的解决方案的性能，并通过证明我们的方法在设备之间适度的时间失调情况下是稳健的来验证这个假设(§7.6)。

动机

• 设备选取

• 对比学习采样方式

• 多视图对比损失函数

架构（方法部分）

正如§4和图2中所解释的，ColloSSL中的两个关键挑战是:
(1)设备选择，即选择将从哪些设备中取正负样本，
(2)对比采样:决定从被选择的设备中哪些样本将用于对比学习。

设备选取

请注意，我们也尝试过使用多个正极设备，但发现只使用一个(最近的)设备作为正极设备可以获得最佳性能。

直接看一个例子：我们将我们的设备选择策略应用到RealWorld HAR数据集(数据集的细节在§6.1中提供)。该数据集包含来自7个imu设备的传感器数据:𝐷={胸部、上臂、前臂、大腿、胫骨、头部、腰部}。我们选择“chest”作为锚定设备，并在“chest”和其他设备的数据之间获得成对的mmd。这导致了以下成对的MMD得分:{胸头:0.45，胸腰:0.61，胸大腿:0.67，胸上臂:0.77，胸前臂:0.83，胸胫:1.51}。根据我们的选择算法，我们选择头部作为正器械，{头、腰、大腿、上臂、前臂、胫骨}作为负器械，其权重与其MMD得分成反比。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rn4ToYsM-1692603085148)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-21-14-33-47-image.png)]（针对MMD进行每个设备的加权，同时权值进行每个权重除以设备之间的最大权重，权重进一步归一化）

这样就可以决定哪些设备作为正例以及负例，同时进一步通过权值能够确定与锚点设备的分布相似情况

对比抽样

对比抽样的目的是为给定的锚定样本𝑎𝑡选择“好的”正负嵌入。我们的抽样政策如下:

1. 对于时间步𝑡上的给定锚定样本𝑎𝑡，我们选择与时间一致的正样本𝑝𝑡𝑖作为正样本。如前所述，这种选择确保锚点和阳性样本具有相同的标签，并满足(P1)良好阳性样本的标准。

2. 作为一种解决方案，我们利用观察到的不与锚点时间同步的负样本更有可能来自不同的类。即对于时间步长为𝑡的锚样𝑎𝑡，一个好的负样是𝑛𝑡’ |𝑡’≠𝑡。

多视图对比损失

都是在特征空间上的进行正例和负例的选取进行对比学习，𝑤𝑗是根据(1)给𝑗𝑡ℎ负设备分配的权重【就是通过MMD进行权重的分配】，𝜏是表示温度的超参数。

监督学习微调

冻结特征提取器除最后一个卷积层外的权重，并在模型中添加一个分类头。分类头由1024个激活ReLU的隐藏单元的全连通层和输出层组成，输出层的单元数与标签数相等。然后，通过优化标准的分类交叉熵损失，使用来自锚定装置的小标记数据集L∗对模型进行训练。

（选取的例子）