Limu-bert论文笔记

笔记

在摘要中需要说

1. IMU数据需要大量的标记数据进行训练，所以导致了很高的标注和训练成本。

2. 充分利用未标记的IMU数据做自监督学习，提出了什么什么新方法能够实现什么什么的目的，有什么优点而且在现实生活中有什么意义

---

摘要

其中主要说的是使用了BERT架构，但是不像自然语言处理一样，而是将其改进为更适用于传感器数据的BERT。

（原始的BERT算法不适合于移动IMU数据。 通过仔细观察IMU传感器的特性，我们提出了一系列技术，并相应地使LIMU-BERT适应于IMU的传感任务。）

解决方式：

为此，本文设计了包括数据融合与归一化、有效的训练方法、结构优化等在内的多种技术，并将其(IMU data)嵌入到Bert框架中，以提高IMU传感应用的效能和效率

引言（需要包括自己贡献以及数据集比较的结果以及介绍文章架构）

深度学习在传统IMU数据的缺陷是什么导致阻碍了实践中的应用

大多数现有的工作在很大程度上依赖于监督学习过程，其中需要大量标记的IMU数据来训练传感模型。 由于两个原因，对大量标记数据的要求阻碍了它们在实践中的采用。 首先，标记的IMU数据很少，因为在现实环境中收集足够的标记IMU样本成本高，耗时长。 其次，移动设备、使用模式和环境的多样性导致需要带有电话型号、用户和使用场景的各种组合的标记数据，以获得可推广的模型。

---

自监督需要做的实验

在学习表征之后，可以用少量标记的IMU样本训练多个特定于任务的推理模型。【多个下游任务，少量标记样本进行训练】

---

本文注重的IMU点

在仔细研究了IMU数据的特点之后，我们重点研究了两类特征：IMU传感器单个测量值的分布和连续测量值的时间关系。

本文的贡献

1. 本文设计了一种从无标记IMU数据中学习一般表示的自监督方法。基于学习表示，任务特定模型可以用少量标注样本进行训练，这大大减少了标注数据的监督训练开销。

2. 本文提出了一系列关于BERT的调整和增强，以在移动传感应用中最好地使用IMU数据。LIMU-BERT是轻量级的，可用于移动设备。

3. 开发了一个原型系统，并进行了实验验证。广泛的评价结果表明了LIMU-BERT在学习可泛化数据表示方面的有效性。

---

预备（感觉有点像动机）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DsUvwnDQ-1692352298426)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-11-28-52-image.png)]

1. 融合很重要

陀螺仪的读数有明显的波动，而加速度计的读数更稳定，因为陀螺仪对运动更敏感。 如果考虑加速度计读数的变化，可以减轻陀螺仪波动的影响。 换句话说，多个传感器的交叉引用可以提供更多的信息，提高整体性能，这已经被先前的工作所证明。 因此，与当前多模态传感器融合的研究方向相一致，表示学习模型应该支持多个IMU传感器的数据融合，这不是原始BERT用于NLP的设计目标。

2. 分布很重要

因此，我们认为IMU读数的分布包含了丰富的信息，这是LIMU-BERT应该捕捉的一个特征。我们认为，如果要捕获一般特征，在将原始IMU数据输入神经网络之前，不应进行任何可能破坏原始IMU数据分布信息的变换。

3. 上下文很重要

因为跑步和走的数据在图中会显示出对应的周期性。总之，时间关系在IMU数据的表示学习中也扮演着重要的角色，这将很可能受益于BERT-like设计。

4. 效率很重要

传统的BERT参数数量太多了，我们要优化模型让其变得小一点，更有利于便携性。

方法

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1CTdNDap-1692352298427)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-11-29-30-image.png)]

1. 融合与标准化

我们设计了一种简单而有效的加速度计和磁强计读数归一化方法，以缩小距离差异，而不会严重改变它们的分布，可以表示为：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pNVHwdmP-1692352298427)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-11-37-06-image.png)]

X: 张量
X^u：是未标记的样本
X^l：是带标签的样本
W = H_dim * S_dim（Hdim是大于Sdim的隐藏尺寸）

这个部分，写的很基础，就是通过MLP让原先比如(6, 128)的向量进行高维化到(64,128)类似是这样的，同时得到的(64, 128)也需要针对其做一个LayerNorm操作，实现标准化。

2. 学习表示

总之，我们认为MLM（bert里面的掩码策略）有利于从IMU数据中提取我们的目标特征。【原因：首先，在MLM训练过程之后，分类器能够基于相应的表示重构被掩盖的读数，这意味着Limu-Bert学习的特征必须包含分布信息。 其次，需要Limu-Bert为屏蔽读数生成表示，这样的过程迫使它学习IMU数据中的上下文关系。】

遮盖方法：(因为如果只有一个样本子序列被屏蔽的话实际上模型能够通过镜像来重构屏蔽的读数==>所以我们要使用长时间的mask进行重建==>引出新的这种mask机制)

我们实现了一个Span Masking机制[15]，它从𝑙𝑚𝑎𝑥处截取的几何分布𝐺𝑒𝑜(𝑝)中采样子序列的长度(用𝑙表示):

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NES8ciCV-1692352298428)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-14-40-45-image.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-99GWEyKO-1692352298428)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-15-58-54-image.png)]

成功概率𝑝，掩码率𝑝𝑟，掩码概率𝑃_m

掩码方法的细节在算法1中进行了总结。第2、4行𝑈[𝑎，𝑏)表示离散均匀分布，间隔[𝑎，𝑏]。𝑀𝑚𝑎𝑥是一个IMU序列中被屏蔽的读数的最大数目，第7行中的方程保证每次都有𝑀𝑚𝑎𝑥读数被屏蔽。𝑠和𝑒是每个子序列的开始和结束索引。在第2行中，我们从[0,1)中均匀随机抽取一个𝑝𝑚，只有当𝑝𝑚<𝑃𝑚时，IMU序列才会被屏蔽。换句话说，屏蔽的执行概率为𝑃𝑚。原因是在监督学习阶段输入数据没有掩码，导致两个学习阶段的输入数据存在差异。为了解决这个问题，LIMU-BERT可以学习如何通过概率掩蔽来处理未掩蔽和掩蔽数据。在第11行中，所选读数的所有值都替换为0。屏蔽率𝑝𝑟和屏蔽概率𝑃𝑚分别设为0.15和0.8。掩码位置设置𝐼将用于丢失函数。

3. 轻量级模型

因此，我们采用了更小的采样率(即20 Hz)，相比现有的作品[8,33,51]，并相应地减小了输入IMU序列的长度。

limu -BERT的表示维𝐻𝑑𝑖𝑚小于原始BERT的表示维1024，有助于缩小模型尺寸。

LIMU-BERT采用跨层参数共享机制[19]，提高参数效率。LIMU-BERT由多个编码器层组成，其中只对第一个编码器层中的参数进行训练。第一层的参数与其他层共享。这种机制大大减少了LIMU-BERT的参数数量。

4. 架构设计

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aHArF9lK-1692352298428)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-20-31-image.png)]

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W73GgRmn-1692352298428)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-43-17-image.png)]

   其中𝑬是𝐻𝑑𝑖𝑚×𝐿矩阵。一开始，规范化的数据𝑋在输入LIMU-BERT之前需要被屏蔽。投影和范数分量共同实现了式2和式3中的传感器融合和归一化设计。请注意，所有的标准化组件(即图3中的黄色矩形)表示层标准化。接下来，将位置编码[43]添加到输入数据中，以充分利用order信息。经过第二层归一化层后，隐藏特征表示如下:

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x1bvFtvU-1692352298428)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-43-52-image.png)]

   其中𝑃𝐸(·)是位置嵌入函数，它将订单(列)索引映射到长度为𝐻𝑑𝑖𝑚的向量。所有位置嵌入都是可训练的变量。然后，一个注意-肠道块(即图3中的紫色矩形)将𝑯作为输入，并在输出最终表示之前重复𝑅𝑛𝑢𝑚次。这个块中的所有组件都是相同的，这个过程实现了跨层的参数共享机制。

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XAKkFBuK-1692352298429)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-44-57-image.png)]

   其中𝑟为[1，𝑅𝑛𝑢𝑚]中的整数。MultiAttn(·)是一个带有𝐴𝑛𝑢𝑚注意头的自我注意层[43]。注意层的查询、键、值隐藏维度为𝐻𝑑𝑖𝑚。Proj(·)表示全连接层，其输入和输出尺寸均为𝐻𝑑𝑖𝑚。前馈(·)由两个完全连通的层组成，隐维为𝐹𝑑𝑖𝑚，输入输出尺寸与Proj(·)相同（𝐻𝑑𝑖𝑚）。两个完全连通层之间存在一个高斯误差线性单元(GELU)[9]激活函数。最后，我们可以得到一个掩码IMU序列𝑿𝑚的表示𝑬=𝑯{𝑅𝑛𝑢𝑚}。

   超参数设置：在LIMU-BERT中，𝑅𝑛𝑢𝑚和𝐻𝑑𝑖𝑚被设置为4。根据之前的设计，在20Hz的采样率下，𝐿设置为120。

   ---

   解码器

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-K53EZLoZ-1692352298429)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-50-44-image.png)]

   𝑓𝑑𝑒𝑐由三个组件组成:一个投影、一个激活的规范化层和一个预测头。解码器可以表示为:

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-shy5bazj-1692352298429)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-51-11-image.png)]

   Pred(·)和Proj(·)为单全连通层，单元号分别为𝑆𝑑𝑖𝑚和𝐻𝑑𝑖𝑚。最后，从被屏蔽的IMU序列中得到重建的IMU序列𝑿ˆ𝒖。

   ---

   训练

   如前所述，重构问题被视为回归任务。因此，自监督阶段的损耗函数定义如下:

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xkW62HG2-1692352298429)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-16-55-59-image.png)]

   ---

   分类头

   [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gFCu4n2R-1692352298430)(E:\POSTGRAUATE\暑假工作-领域泛化\typora-image\2023-08-17-17-00-03-image.png)]

   在我们的框架中，我们用门控循环单元(GRU)[4]设计了一个轻量级分类器，如图4所示。它包含三个叠加的GRU层，隐藏大小分别为20、20和10。GRU第一层输入尺寸为𝐻𝑑𝑖𝑚。在GRU层上，只将最后一个位置的隐藏特征输入dropout层，drop rate为0.5，目的是减少过拟合。接下来，在softmax层之前构建两个全连接的层，其中包含10个隐藏单元。最终的输出大小与目标任务中的类的数量相同。GRU分类器是非常轻量级的，因为只有有限的标签样本可用。

实验

数据集：

HHAR, UCI, MotionSense

rop rate为0.5，目的是减少过拟合。接下来，在softmax层之前构建两个全连接的层，其中包含10个隐藏单元。最终的输出大小与目标任务中的类的数量相同。GRU分类器是非常轻量级的，因为只有有限的标签样本可用。

实验

数据集：

HHAR, UCI, MotionSense