关于无线感知的一些笔记

(注：这个笔记是我曾经在学习过程中为了方便后续的学习，减少再次百度检索的时间而摘抄得到的，非原创，部分当时忘记了附上原文链接，若不允许使用麻烦请联系我)

无线感知

名词术语与基本知识：

Arrhythmia：心律失常 Cardiac：心脏 Beats：心跳

Extractor：提取器 Domain：域 Fusion：融合 Filter：过滤器Augmentation：增强 Adaptive：自适应 Detection：检测

channel state information (CSI)：信道状态信息，无线通信领域用语，就是通信链路的信道属性。它描述了信号在每条传输路径上的衰弱因子，即信道增益矩阵H中每个元素的值，如信号散射,环境衰弱，距离衰减等信息。一般情况下，接收端评估CSI并将其量化反馈给发送端（在时分双工系统中，需要反向评估）。因此CSI可分为CSIR和CSIT。

received signal strength indicator (RSSI)：接收的信号强度指示，无线发送层的可选部分，用来判定链接质量，以及是否增大广播发送强度。

通过接收到的信号强弱测定信号点与接收点的距离，进而根据相应数据进行定位计算的一种定位技术。

制约 RSSI稳定性和可靠性的根本因素是： RSSI测量的是信号多径传播的叠加效果， 并不能逐一区分多条信号传播路径。

由于复杂环境中的多路径效应和Wi-Fi设备上不完善的自动增益控制（AGC）电路，RSSI可能会随时间和空间而大幅波动，因此此类方法可能会导致传感性能下降。

CSI包含不同子载波上的信道幅度和相位信息，能够区分多路径特性。

通过观察CSI相位和/或振幅的振动模式，可以估计呼吸或心跳频率

 与RSSI相比,CSI在一定程度上刻画了多径传播。因此，CSI可以暂时看作是RSSI的升级版本。由于RSSI只反映了多径叠加的总幅度，我们可以形象地把RSSI 比作一束白光，那么CSI 即可看作以正交频分复用为棱镜色散出的光谱，每一束单色光(对应正交频分复用中不同的子载波)都呈现了不同频率下多径传播的幅度和相位。

 CSI也被用于更准确地估计信道质量以实时调整传输速率；CSI反映了发射机与接收机之间信道的固有物理特征。根据信道互异性，该特征是发射机与接收机所共有的信息，是第三方不能直接获得或监听的

两种主流的CSI模型：光线跟踪模型和散射模型，这两个模型基于理解信号传播过程的两个视角。

分贝db和振幅单位转换:db=20*log2V

Line-Of-Sight (LOS)：视距无线 传输

视距是指发射天线和接收天线能互相“看见”对方

视距无线传输是指发射天线和接收天线在“能互相看见对方”的距离之间传输信号。

视距无线 传输（Line of Sight，LOS）”主要分三类：

第一类为完全传输， 即两个天线之间不存在任何影响信号传播的障碍物，信号得以完全传输；

第二类称为“近视距无线传输（Near Line of Sight/nLOS）”，即两个天线之间存在能部分影响信号传 播的障碍物，比如高大树木阻挡造成的信号削减；

第三类 为“非视距无线传输（Non Line of Sight/NLOS）”，即两个天线之间的距离被障碍物完全遮挡。

菲涅耳区（Fresnel Zone）：一个菲涅尔区多半个波长

静态：奇数菲涅尔区->增强；偶数菲涅尔区->削弱

LoRa (Long Range)：远距离无线电，是semtech公司创建的低功耗局域网无线标准，它最大特点就是在同样的功耗条件下比其他无线方式传播的距离更远，实现了低功耗和远距离的统一。

射频简称RF，是高频交流变化电磁波的简称。网页地址

振荡的电场产生振荡的磁场，振荡的磁场产生振荡的电场。电磁场在空间内不断向外传播，形成了电磁波。

通常情况下，射频（RF）是振荡频率在300KHz-300GHz之间的电磁波的统称，被广泛应用于雷达和无线通信。

波动具有周期，频率（f）即给定单位时间内的波发生的周期数，单位为赫兹（Hz）

波长（λ）即波在一个周期内传播的距离，在传播速度一定的情况下，波长与频率成反比，即，λ = c / f

由于衰减等因素影响，低频电磁波一般能比高频电磁波传播更长的距离，因此经常被用来超视距雷达。而高频电磁波能量高，穿透能力强，带宽更高。

相位即波周期中单个时间点的位置，在正弦波中通常用弧度表示。

调制：RF信号必须具有一种携带信息的方式。即利用三个波特性（频率、相位、振幅）来达到修改RF信号、传输数据的目的。调制又分为模拟调制和数字调制

AP：Wireless AccessPoint 无线访问接入点是让移动设备通过无线网络接入本地的有线网络的设备

路由器=router 是连接多个网络的设备，实现不同网络下的设备通信

非 AP 站 （STA）

低通滤波 (Low-pass filter) 是一种过滤方式，规则为低频信号能正常通过，而超过设定 临界值 的 高频信号 则被阻隔、减弱。

高通滤波：当较低的频率通过该系统时，没有或几乎没有什么输出，而当较高的频率通过该系统时，将会受到较小的衰减。

带通滤波：仅允许特定频率通过，同时对其余频率的信号进行有效抑制。

超宽带无线通信技术（UWB）

现有的室内人体目标跟踪/定位方法可分为两大类：基于指纹的方法和基于几何模型的方法

关键性能指标 （KPI）

信道冲击响应(Channel ImpulseResponse,CIR)

信道频率响应(Channel Frequency Response.CFR)

在无限带宽的条件下， CFR和CIR互为傅里叶变换

CFR本质上是CIR的傅立叶变换，它包括幅度响应和相位响应。

视场 （FOV）

对于多人环境中的存在检测，距离分辨率、速度分辨率和角分辨率需要分别至少为 0.5-2 m、0.5 m/s 和4-6 度。

将基带信号施加到载波上的过程称为调制。

调制涉及两个信号，一个是要传递的消息信号，也称为基带信号（Baseband signal），这种信号的频率通常很低。与此相关的另一个信号是高频信号,该信号称为载波信号(carrier)。

信号有三个参数调制：振幅、频率和相位。因此可以实现幅度调制(AM)、频率调制(FM)和相位调制(PM)。

在数字调制中，只涉及一种信号质量的变化调制方式为：ASK（幅度）、PSK（相位）和FSK（频率）。（载波信号的三个特性中，一次只改变一个）

正交幅度调制(QAM) 是就是将ASK和PSK组合在一起。

如果从载波的数量来划分，无线通信技术可分为单载波调制和多载波调制。

单载波调制系统仅利用一个信号频率来传输数据符号。不同的是，多载波调制系统将整个信道划分为许多子载波，而高速率数据流则被划分为许多在子载波上并行传输的低速率数据流。多载波调制采用的是多路复用（mutiplexing）技术

如果根据所使用的调制技术，调制类型大致分为连续波调制和脉冲调制

为了有效地发射和接收信号，天线的高度h应与信号的波长λ相当，至少天线h的高度长度应为λ/4，以便天线能够正确感知信号的变化。（需要把低频信号搬移到高频信号中）

信号所需的物理带宽取决于最大调制频率和状态变化的剧烈程度。

多路复用技术

无线通信中的典型多路复用技术：（a）频分复用，（b）时分复用，（c）码分复用和（d）无线统计分复用

多路复用器主要有两种类型，即模拟和数字。它们进一步分为 FDM、WDM 和 TDM。

时分多路复用TDM

频分复用FDM

每个channel上的信号分别使用不同频率的载波调制，载波频率必须是分开不能重叠，有一个 guard bands。

正交频分复用（OFDM）

简单说来，毫米波实现人体呼吸和心跳检测的原理是通过探测由于人体胸腔或心脏微小起伏所引起的在特定的距离门上的FMCW信号的相位变化，意思就是说先检测到某个距离（距离门），然后在对这个距离（距离门）内的目标的FMCW信号的相位变化做检测，即可得到人体呼吸和心跳的变化特征。

怎么利用二维天线阵列和FMCW的组合来扫描三维空间的射频发射?

1.构建二维天线阵列：首先需要设计和构建二维天线列，该阵列由多个天线元件组成，可以在水平和垂直方向上形成波束（beam）以进行方向性辐射和接收。

2.FMCW信号发射：通过FMCW技术产生调制的连续波信号。FMCW是一种调频雷达技术，通过不断改变信号的频率（一般是线性调频），可以得到一系列频率连续增或递减的号。

3.发射和接收信号：二维天线阵会将FMCW信号进行发射，同时也可以接收反射回来的信号

4. 测距和测角：通过分析接收到的信号对时间、频率和幅度进行处理，可以实现对目标物体的距离和角度的测量。

5.三维空间扫描：通过控制二维天线阵列的扫描方式和频率调制的信号特性，可以实现对三维空间的扫描，获取目标物体在各个方向上的距离和方位角信息。

平滑微分器具有平滑的噪声抑制和扩展通带

DTW可以计算两个时间序列的相似度，尤其适用于不同长度、不同节奏的时间序列（比如不同的人读同一个词的音频序列）。DTW将自动warping扭曲 时间序列（即在时间轴上进行局部的缩放），使得两个序列的形态尽可能的一致，得到最大可能的相似度。（在时间序列中，需要比较相似性的两段时间序列的长度可能并不相等）

DTW采用了动态规划DP（dynamic programming）的方法来进行时间规整的计算，可以说，动态规划方法在时间规整问题上的应用就是DTW。序列某时刻的点可以对应上面序列非同一时刻的点，同时一个点可以对应多个点，多个点也可以对应一个点，也就是说每个点尽可能找离它距离最小的点，允许时间轴上的伸缩。

累加距离：

数值越小说明，相似度越高。

DTW(Dynamic Time Warping)动态时间规整 - 知乎 (zhihu.com)

在寻找路径的过程中，必须满足一些约束条件：

1、边界条件：起点必须是 w(1,1) ，终点必须是 w(n,m) ，要有始有终；

2、连续性：意思是下一个满足条件的灰色方块一定是在当前灰色方块的周围一圈；

3、单调性：下一个满足条件的灰色方块一定在当前灰色方块的右上方，不能回头；

理解dynamic time warping(DTW)的基本思想 - 知乎 (zhihu.com)

（左图为欧氏距离的对应关系）

DTW算法初步理解 - 知乎 (zhihu.com)

TCN时间卷积网络：时间卷积网络的输入可以是传感器信号(例如加速度计)或应用于每帧的空间CNN的潜在编码。

TCN（Temporal Convolutional Networks）算法详解 - 知乎 (zhihu.com)

到目前为止，深度学习背景下的序列建模主题主要与递归神经网络架构(如LSTM和GRU)有关。但在许多任务中，卷积网络可以取得比RNNs更好的性能，同时避免了递归模型的常见缺陷，如梯度爆炸/消失问题或缺乏内存保留。此外，使用卷积网络而不是递归网络可以提高性能，因为它允许并行计算输出。

相当于RNN的优点：捕捉局部依赖关系：TCN通过堆叠卷积层并增大卷积核的感受野，可以有效地捕捉序列数据中的局部依赖关系。

缺点：有限的建模能力：传统的卷积操作在局部感受野内工作，因此对于较长的序列建模和处理长期依赖关系，可能不如RNN表现好。但可以通过使用深层TCN和膨胀卷积等技术来扩大感受野。

因果卷积可以用上图直观表示。 即对于上一层t时刻的值，只依赖于下一层t时刻及其之前的值。和传统的卷积神经网络的不同之处在于，因果卷积不能看到未来的数据，它是单向的结构，不是双向的。也就是说只有有了前面的因才有后面的果，是一种严格的时间约束模型，因此被成为因果卷积。

单纯的因果卷积还是存在传统卷积神经网络的问题，即对时间的建模长度受限于卷积核大小的，如果要想抓去更长的依赖关系，就需要线性的堆叠很多的层。为了解决这个问题，研究人员提出了膨胀卷积。

膨胀卷积（dilated convolution）是通过跳过部分输入来使filter可以应用于大于filter本身长度的区域。等同于通过增加零来从原始filter中生成更大的filter。

Conv1D广泛应用于感官数据，加速度计数据就是其中之一。

1D CNN可以根据加速度计数据执行活动识别任务，例如人的身姿，行走，跳跃等。此数据有2个维度。第一维是时间步长，其他维是3轴上的加速度值。

Conv2D通常用于图像数据。之所以称其为2维CNN，是因为内核在数据上沿2维滑动。

频率域滤波是对图像进行傅里叶变换，将图像由图像空间转换到频域空间，然后在频率域中对图像的频谱作分析处理，以改变图像的频率特征。

MIMO雷达是提高毫米波雷达角度分辨率(空间分辨率)的关键技术

是指具有多个TX和多个RX天线的雷达

MIMO Radar-CSDN博客

数值求导

根据定义，加速度是位移的二阶导数。因此，我们可以简单地对RF相位信号的二阶导数进行运算。由于我们没有RF信号的解析表达式，我们必须使用数值方法来计算二阶导数。有多种这样的数值方法，它们的性质各不相同。我们使用下面的二阶微分器，因为它对噪声具有鲁棒性。

数值求导和自动求导 - 知乎 (zhihu.com)

通过差分法来近似导数（偏导） - 知乎 (zhihu.com)

波束形成：在雷达传感中，由于波束形成的空间辨率限制，波束形成体素的测量结果容易受到噪声的干扰。波束形成是雷达系统中的一个重要过程，用于将雷达波束聚焦到目标区域，以获取目标的回波信号。然而，由于波束的空间分辨率受到限制，会导致传感器在目标位置周围形成一个体素，而不是一个点。

在雷达系统中，波束形成体素（或波束宽度）决定了雷达系统对目标的空间分辨能力。由于波束形成体素的存在，一个体素实际上是目标周围一个区域内多个点的信号叠加的结果。

当雷达系统发射和接收信号时，它将波束聚焦在一个特定的方向，以便探测目标。然而，由于波束形成的限制，形成的波束会覆盖一个体积区域，而不是一个点。在这个体素内，信号会受到目标、地形和其他物体的反射、散射等影响，从而形成一个汇总的信号。

IQ信号

IQ信号又称同相正交信号

I为in-phase(同相)(实部) Q为quadrature(正交)(虚部)

IQ调制就是数据分为两路，分别进行载波调制，两路载波相互正交

如果将相等振幅的 I 和 Q 信号相加，结果将是一个正弦曲线，其相位位于 I 信号相位和 Q 信号相位之间。换句话说，假设 I 波形的相位为0°，Q 波形的相位为90°，那么相加信号的相位将为45°

IQ域信号  复值阵列

IQ域信号是一个复值阵列（complex-value array表示的是具有复数元素的数组），即实部（同相In-phase信号）和虚部（正交Quadrature信号）。

实部代表cos序列的幅度；虚部代表sin序列的幅度

接收信号经过非线性处理（乘以发射信号）后，能够将信号分解为实部和虚部，其中虚部通常包含了关于信号中频率或相位信息的部分。然后通过低通滤波器可以只保留虚部信号中的低频部分，这样就可以提取中频信号的虚部。

通过将接收到的信号乘以相位旋转90度的发射信号，可以得到接收信号的虚部？？？（暂定）

中频信号

在无线通信系统中，接收信号会经过一系列的放大、混频等处理，最终转化成中频信号，以便进行后续的解调和处理。

在无线通信系统中，信号经过一系列的调制、放大、滤波等处理后会产生不同频率的信号。其中，高频信号是指频率较高的信号，一般是指接收到的射频信号（Radio Frequency, RF）；中频信号是低频信号和高频信号之间的一个中间频率号，用于在接收端信号处理的中间阶段；低频信号是指频率较低的信号，通常是指基带信号或调制后的基带信号。

在无线通信系统中，射频信号经过射频前端的放大和调频后，会转换成中频信号。这是因为中频信号在信号处理和调制解调中更容易处理，同时也可以减小对射频电路的要求。经过处理得到的中频信号会通过接收机中的各种电路进行进一步处理，最终转换成基带信号以供数字处理和解调使用。

因此，中频信号在无线通信系统中发挥着重要的作用，起到了信号处理和调制解调的中间桥梁作用。

自动增益控制（AGC）电路

AGC 电路的目的是使接收机的增益能够随输入信号的强弱而自动调整，使有用信号经过 AGC 后幅度保持恒定或在特定的范围内变化。AGC 能够保证在接收弱信号时，使接收机增益升高，而接收强信号时则增益降低，从而使输出信号保持在适当的电平，不至于因为输入信号太小而无法正常工作，也不至于因为输入信号太大而使接收机发生饱和或堵塞。

AGC是用于调节信号增益以使接收到的信号在一定范围内保持合适的强度水平。通过补偿AGC，可以降低信号幅度的波动性，提高信号的稳定性和可靠性。

重采样的意义：

1.数据一致性：将运动传感器数据统一重新采样到相同的采样率（例如200 Hz），可以保证数据在时间上的一致性，使得不同传感器的数据可以直接进行对比分析或整合处理。

2.降低数据处理复杂度：统一重新采样到特定的采样率，可以简化数据处理过程，减少后续数据处理和分析时的复杂性和计算量，提高数据处理的效率。

3.减少数据丢失：在传感器数据处理中，采样时间不稳定可能导致数据丢失或失真，通过重新采样到稳定的200 Hz采样率，可以减少数据丢失情况，提高数据的完整性和准确性。

4.提高数据质量：较高的采样率（如200 Hz）可以更精细地捕捉数据的变化和细节，提高数据的质量和准确性，使得数据分析和挖掘能够更加准确和可靠。

5.适应需求：根据实际需求和应用场景，重新采样到200 Hz可以使数据满足特定的分析、模型建立或应用的要求，提高数据的适用性和可操作性。

采样时间不稳定的原因：

数据传输延迟、网络不稳定、传感器异常、设备连接问题等

令牌化:

在自然语言处理（Natural Language Processing，NLP）中，令牌化（Tokenization）是指将文本数据分割成一个个小的单元，这些小单元被称为令牌（Token）。通常情况下，令牌可以是单词、子词（subwords）、字符或者其他更小的单元，这取决于具体的语言处理任务和所采用的令牌化方法。

傅里叶变换：

傅里叶变换是一种从时域信息转为频域信息的手段，可以理解为从不同的角度来观察一个事物。FFT适用于处理*整段信号*的频谱分析，而STFT适用于对信号*随时间变化*的频谱分析

时域信号可以通过使用离散傅里叶变换（DFT）或快速傅里叶变换（FFT）得到频域信号

DFS = Discrete Fourier series = 离散傅里叶级数

DFT = Discrete Fourier transform = 离散傅里叶变换

DTFT = Discrete Time Fourier transform = 离散时间傅里叶变换

FFT快速傅里叶变换:

FFT是一种算法，用于将信号从时域转换到频域，能够将一个连续的信号分解成不同频率的成分。

FFT将整段信号一次性进行傅立叶变换，得到整个信号的频谱信息。

FFT适用于信号长度固定的情况，对于稳态信号或者整段信号的频谱分析非常有效。

STFT短时傅里叶变换:

STFT是在FFT的基础上发展而来的，它引入了时间窗口的概念，将信号分成一小段一小段进行傅里叶变换。

STFT可以在时域的不同时间段内对信号进行频谱分析，得到时域和频域的关系。

STFT适用于处理非稳态信号或者信号在时间上发生变化的情况，能够提供信号随时间变化的频谱信息。

 大多数音频信号（例如音乐和语音）的频率成分随时间变化这些信号称为非周期性信号

速度维（慢时间维）

距离维（快时间维）

雷达 - 快时间维/慢时间维 - 知乎 (zhihu.com)

FMCW雷达距离多普勒(RDM)处理方法中距离分辨率和速度分辨率的推导_雷达速度分辨率公式-CSDN博客

Mel滤波器：

耳蜗实质上的作用相当于一个滤波器组，耳蜗的滤波作用是在对数频率尺度上进行的，在1000HZ以下为线性尺度，1K HZ以上为对数尺度，使得人耳对低频信号敏感，高频信号不敏感。也就是说，当初产生这种机制主要是为了模拟，人耳朵的听觉机制；

当频率较小时，Mel随Hz变化较快；
当频率很大时，Mel的上升很缓慢，曲线的斜率很小。

=》这说明了人耳对低频音调的感知较灵敏，在高频时人耳是很迟钝的

Mel谱图是频率转换为Mel标度的谱图

机器学习中的音频特征：理解Mel频谱图 - 知乎 (zhihu.com)

SlowFast Model:

SlowFast算法整体由两个卷积分支组成：

Slow分支：较少的帧数以及较大的通道数学习空间语义信息;Slow 分支用于学习时间上较慢的特征和空间上的全局特征，

Fast分支：较大的帧数以及较少的通道数学习运动信息;而 Fast 分支则用于捕捉时间上较快的动作和局部细节特征。

计算量与通道数的平方成正比，Fast分支由于通道数较少，其比较轻量化，仅仅占用整体20%的计算量

Fast分支通过使用较小的通道数（β D）来保持轻量化，β通常设置为的⅛。

在 SlowFast 模型中，Fast 分支需要更多的帧的原因包括以下几点：

1.快速运动的捕捉Fast 分支主要负责捕捉视频中的快速运动信息。通过增加 Fast 分支的输入帧数，可以更好地捕捉到视频中的快速动作，提高对快速动作的感知能力。

2.时间维度的丰富性：
增加 Fast 分支的帧数可以提供更丰富的时间维度信息，有助于更准确地捕捉视频中的短期运动和快速变化。

伪标签

在无监督学习中，通常使用聚类算法为数据分配伪标签，这些伪标签并不是数据的真实标签。伪标签是根据数据在特征空间中的相似性或分布特征生成的，用于指导模型学习数据的特征表示和结构，而不是数据的真实标签。

自监督学习SSL

自监督学习主要是从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

self-supervised learning是无监督学习里面的一种，主要是希望能够学习到一种通用的特征表达用于下游任务。

由于SSL使用的是数据本身的结构，所以它可以实现跨模式的能力，比如(视频、音频)，以及跨大型数据集利用各种监督信号。

虽然伪标签并非真实的监督信息，但它们在无监督学习中扮演着类似监督信息的角色，帮助模型学习如何更好地表征数据的特征和结构。因此，可以说伪标签是数据自身的一种自监督信息，用于指导模型学习无标签数据的特征表示。

SOTA

SOTA，全称「state-of-the-art」，用于描述机器学习中取得某个任务上当前最优效果的模型。 例如在图像分类任务上，某个模型在常用的数据集（如 ImageNet）上取得了当前最优的性能表现，我们就可以说这个模型达到了 SOTA。

COTS

COTS即Commercial Off-The-Shelf 翻译为“商用现成品或技术”或者“商用货架产品”，指可以采购到的具有开放式标准定义的接口的软件或硬件产品，可以节省成本和时间。

端到端学习

在机器学习和深度学习领域，端到端学习意味着利用单个端到端模型完成整个任务，而不需要手动设计特征提取、中间步骤或管道模块。

端到端深度学习模型直接从原始输入数据中学习任务的表示和解决方案，以完成任务的全过程。这种方法有助于简化模型设计、避免手特征工程、减少人为干预，提高模型性能和泛化能力。

直接将原始数据作为输入返回输出结果，而不需要其他处理。

声电容积描记法（APG）

声电容积描记法（APG）的技术原理是向耳道内发射低强度超声波信号，然后利用微型麦克风检测皮肤表面微扰来实现。

光电容积脉搏波描记法（PPG）

大部分可穿戴设备采用光电容积脉搏波描记法（PPG）来测量心率及其他生物计量指标。PPG是一种将光照进皮肤并测量因血液流动而产生的光散射的方法。该方法非常简单，光学心率传感器基于以下工作原理：当血流动力发生变化时，例如血脉搏率（心率）或血容积（心输出量）发生变化时，进入人体的光会发生可预见的散射。

PPG信号的一阶导数和二阶导数分别称为速度光电体积描记器（VPG）和加速光电体积描录器（APG）

心血管生命体征，包括心率(HR)、血压(BP)、血氧饱和度(SO2)和血糖

心震描记法(SCG)和心冲击描记法(BCG)

SCG：心脏引起的胸壁的震动的记录

BCG：心脏向血管内喷射血液时身体的反作用力的记录

具体而言，这些心血管生命体征可通过以下机制在不同位置进行测量：1)心率可通过生物电、光电、机电、超声技术获得，这些技术基于ECG的脉动波形、光电容积描记法(PPG)、心震描记法(SCG)和心冲击描记法(BCG)、径向脉冲波形和超声波描记法。根据所使用的技术，可以在胸部、指尖、颈部和手腕的不同位置记录这些信号；2)血氧饱和度可通过PPG在手指、耳垂或足部皮下动脉位置较浅的位置进行监测；3)持续血压是通常基于来自生物电、光电、机电传感器的信号，通过基于脉冲瞬时时间(PTT)或脉冲相对时间(PAT)的算法和机器学习(ML)算法来估计；4)血糖由电化学传感器通过唾液、眼泪、汗液和间质液(ISF)进行测量。

[3] 用于心血管健康监测的柔性可穿戴传感器 - 知乎 (zhihu.com)

脉搏波从心脏位置传导至PPG信号测试点的时间差，称为脉搏波传导时间（Pulse Transit Time，PTT）

每分钟心跳次数(bpm)

时空神经网络（STNN）

时空图神经网络（STGNN，Spatio-Temporal Graph Neural Network）框架通过集成图神经网络和各种时间学习方法，能够提取复杂的时空依赖关系。

连续无创动脉压 (CNAP)测量方法介绍:

1. 心电&光电容积脉搏波（ECG&PPG）结合法

脉搏波从心脏位置传导至PPG信号测试点的时间差，称为脉搏波传导时间（Pulse Transit Time，PTT）。PTT血压测量模型通常使用心电信号（Electrocardio⁃Gram，ECG）作为PTT的起点，而在身体其他位置（如耳垂、指尖）记录的PPG信号作为PTT的终点。通过识别ECG信号和PGG信号的主波峰，便可得到两个主波峰的时间间隔PTT。PTT与收缩压SBP成线性相关，运用线性回归方程建立矫正系数，能较准确地计算出SBP。

缺点：但除了所需测量的PPG信号外，该方法还需要额外的设备测量ECG。

1. 两路PPG结合法

两路光电容积脉搏波结合法利用人体两个不同部位，如手指、手腕、耳垂间等。根据测得的两路脉搏波信号特征点的脉搏到达时间差（Pulse Arrive Time Difference，PATD），通过PATD模型来估算血压。

优缺点：该方法相比 ECG与PPG结合法，在设备复杂度上更加简单，成本较低。但需要佩戴多个传感器，且传感器的时间同步要求度高，一定程度上加大了测量难度。

L1和L2 详解(范数、损失函数、正则化) - 知乎 (zhihu.com)

自监督学习  表征学习

自监督学习是一种表征学习范式

表征学习（Representation Learning）是一种机器学习方法，旨在让机器学习算法自动学习数据的表示或特征，使得模型能够更好地理解数据并从中提取有用信息。在表征学习中，模型不仅学习如何进行任务，还学习如何最好地表示输入数据，从而提高模型的化能力和果。

多模态融合的方法

融合Fusion做的事情简而言之就是信息整合，将不同模态表示的信息融合为一个信息，得到一个特征向量，然后利用特征向量去做接下来的任务；用黑话讲就是深度挖掘不同模态的信息并对其进行高效融合进而形成最终的representation。

目前主流的融合方式有3种：

1.基于简单操作的融合

2.Attention-based Fusion

3.双线性池化融合

1.Simple Operation-based Fusion（基于简单操作的融合）就是将来自不同模态的特征向量使用简单的方式进行整合，比如：向量拼接，向量加权求和等等。

缺点：这个方式存在一个问题，就是两个模态之后没有做足够的交互，两者之间的联系比较弱一点。

改进：在对representations或者说features concat或者求和之前先给它们接几个全连接层，让他们互相学习一下他们之间的关系，这样效果会比较好。还有一点实操过程中的问题是，对于concat而言，我们最好是保证文本特征向量和图片特征向量的维度是固定的（将多模态特征的维度固定），这样后面接全连接层维度不会出错。但是有的时候我们输入的图片数量不固定，那么图片特征向量维度不一定，这个时候我们可以对图片的特征向量做max pooling让图片特征向量固定（如果不固定就想办法固定下来）

2. Attention-based Fusion

对于attention的操作可以简单分为：

1. Image attention；
2. Symmetric attention for images and text；
3. Attention in a bimodal transformer(一个是基于TRM的多模态预训练模型，一个是基于TRM的微调模型)
4. Other attention-like mechanisms。

1. 基于双线性池化的融合办法

双线性池化也是一个比较受重视的融合方法，不过它的问题就是在于会把n为变成n的平方，复杂度大大提升，后续的改进一般都是在降低复杂度这一块。

双线性池化最初的操作，就是做向量的外积，获得一个矩阵，然后对矩阵做sum池化，得到特征向量，然后再去做分类

毫米波雷达具有频带宽、波长短、波束窄、重量轻、分辨力强和穿透性强等特点。与微波相比，毫米波雷达分辨力高，结构轻便小巧；与红外和可见光相比，毫米波雷达穿透性更强，受气候的影响较小，能保证雷达在雨雪暴风、烟尘等恶劣环境中正常检测，具有全天候全时工作的特性。

UWB，即超宽带（Ultra-Wideband）技术，最初被美国陆军用来探测地下物体，是一种不采用正弦载波、而是利用纳秒级的非正弦波窄脉冲传输数据的无线载波通信技术。不同于毫米波动辄几十GHz的频段，超宽带技术使用的工作频率是3.1~10.6GHz，发射带宽大于500MHz，因此拥有高速的传输速率和更好的穿透性（可穿透非金属障碍物）；同时超宽带脉冲雷达技术是发射机发射持续时间极短的脉冲信号，而收发机的重频周期较长，因此单位时间内消耗的功耗极低。另外，由于高带宽以及需要现场设备采集计算，所以探测精度和安全性能也都很高，抗干扰能力非常强。

（原理）UWB设备以特定的间隔(即脉冲重复间隔PRI)发射固定频率的脉冲信号时，发射的信号会被环境中的被测者反射回来，因此UWB设备接收到的信号包含了环境中被测者的信息。

UWB 自学笔记 - 知乎 (zhihu.com)

归一化

BatchNorm：batch方向做归一化，算NHW的均值，对小batchsize效果不好；BN主要缺点是对batchsize的大小比较敏感，由于每次计算均值和方差是在一个batch上，所以如果batchsize太小，则计算的均值、方差不足以代表整个数据分布

LayerNorm：channel方向做归一化，算CHW的均值，主要对RNN作用明显；

InstanceNorm：一个channel内做归一化，算H*W的均值，用在风格化迁移；因为在图像风格化中，生成结果主要依赖于某个图像实例，所以对整个batch归一化不适合图像风格化中，因而对HW做归一化。可以加速模型收敛，并且保持每个图像实例之间的独立。

GroupNorm：将channel方向分group，然后每个group内做归一化，算(C//G)HW的均值；这样与batchsize无关，不受其约束。

SwitchableNorm是将BN、LN、IN结合，赋予权重，让网络自己去学习归一化层应该使用什么方法。

LeakyReLU层作为激活函数，解决了“死ReLU”问题，加快了训练速度

零多普勒面：

即垂直于雷达速度方向的平面，由多普勒频率的定义可知，在该平面上的点多普勒频率均为0，因此称为零多普勒面，由几何关系容易知道，零多普勒面经过目标的时刻，目标与雷达间的距离达到最短，该时刻称零多普勒时刻

静态杂波有时叫直流分量

在信号处理领域中，静态杂波有时被称为直流分量。这是因为在频谱分析中，信号通常被分解为直流分量（常数信号）和交流分量（随时间变化的信号）两部分。

静态杂波是一种在信号中出现的恒定幅度的干扰或噪声，这种干扰在频谱中表现为直流成分。直流分量通常代表着信号中的平均值或偏移量，它不随时间变化而保持恒定。

静态杂波滤波算法：

1.圆拟合。雷达回波信号经过正交采样后得到IQ复信号，时域IQ信号在复平面上的分布是随着采样点的幅度和相位散落在复平面上，如果不存在直流分量，那么离散点的是以零点为圆心，以幅度为半径，以随时间变化的相位为角度，呈圆弧分布。

如果受到静态物体产生的杂波干扰，由于信号存在直流分量，所以估计的相位随时间演变的幅值往往小于真实值，且杂波信号强度越大，偏差值越大，体现在图形中，就如下图所示，A1就是直流分量的幅度，可见A0因为受到直流分量的干扰，圆心偏离零点很远。

此从信号处理的角度解决实际应用中静态杂波的干扰问题，因此可以利用信号后处理方法去补偿、校正相位时间序列的估计偏差，即消除A1的幅度，使得A0的圆心重回零点。

步骤如下：

（1）找到当前离散点在复平面上的分布
（2）对这些点进行圆拟合操作
（3）根据拟合后的圆，补偿偏移
（4）根据补偿后的相位和幅度，得到新的离散点

干货 | 圆拟合算法去除雷达信号中的直流分量干扰（含MATLAB代码和数据） - 知乎 (zhihu.com)

（比起均值相消算法，圆拟合其实效果并不那么好）

2.相量均值相消算法，也被称为平均相消算法，其实现的原理为：静止目标到雷达天线的距离是不变的，每一束接收脉冲上静止目标的时延也是不变的，对所有接收脉冲求平均就可以得到参考的接收脉冲，然后用每一束接收脉冲减去参考接收脉冲就可以得到目标回波信号，核心思想是求均值做差

3.零速通道置零法，是指在2D-FFT（速度维FFT）后直接将R-V谱矩阵（RD图）速度通道中的零速通道或零速附近通道置零，此操作意味着静止目标或者低速目标会直接从R-V谱矩阵中消失。

4.动目标显示（MTI）是指利用杂波抑制滤波器来抑制杂波，提高雷达信号的信杂比，以利于运动目标检测的技术。由于杂波谱通常集中在直流分量和雷达重复频率的整数倍处，而 MTI 滤波器利用杂波与运动目标的多普勒频率的差异，使得滤波器的频率响应在直流和PRF（脉冲重复频率） 的整数倍处具有较深的阻带， 而在其他频点的抑制较弱， 从而通过较深的“凹口”抑制静止目标和静物杂波。

信号分为能量信号和功率信号。

能量信号全名：能量有限信号。顾名思义，它是指在负无穷到正无穷时间上总能量不为零且有限的信号。典型例子：脉冲信号。

功率信号全名：功率有限信号。它是指在在负无穷到正无穷时间上功率不为零且有限的信号。功率信号还可以细分为周期信号（如正弦波信号）和随机信号（如噪声信号）。

一个信号不可能既是能量信号又是功率信号，但是一个信号可以既不是能量信号也不是功率信号。

频谱和功率谱密度（PSD）的区别:

1.频谱分为幅频谱和相频谱，而功率谱密度没有相位信息

2.频谱的单位是被测物理量的单位，如电压V，加速度g等，而功率谱密度的单位是被测物理量单位^2/Hz，如V^2/Hz，g^2/Hz等，因为功率谱密度反映的就是某一频率的能量密度。

3.频谱的计算方法固定，计算结果固定；功率谱密度无法精确获得，只能进行谱估计，求解方法不唯一，结果也不唯一。

频谱图看成分，功率谱图算能量，功率谱密度看变化。

在实际应用中，一个信号我们不可能获得无穷长时间段内的点，对于数字信号，只能通过采样的方式获得N个离散的点。由于不可能对所有点进行考察，我们也就不可能获得其精确的功率谱密度，而只能利用谱估计的方法来“估计”功率谱密度。

谱估计有两种：经典谱估计和现代谱估计。

经典谱估计是将采集数据外的未知数据假设为零；

现代谱估计是通过观测数据估计参数模型再按照求参数模型输出功率的方法估计信号功率谱，主要是针对经典谱估计的分辨率低和方差性能不好等问题提出的，应用最广的是AR参数模型。

经典功率谱估计的方法有两种：周期图法（直接法）和自相关法（间接法）。

多普勒频率

多普勒频率：接收频率与发射频率的差值，观察者接收到的频率等于观察者在单位时间内接收到的完全波的个数，因而单位时间内通过接收者的完全波的个数,即接收的频率。

集成学习方法中的硬投票、软投票：

硬投票：根据少数服从多数来定最终结果

软投票：将所有模型预测样本为某一类别的概率的平均值作为标准，概率最高的对应的类型为最终的预测结果。

多模态融合方法：

1.前融合（数据级融合）指通过空间对齐直接融合不同模态的原始传感器数据。

2.深度融合（特征级融合）指通过级联或者元素相乘在特征空间中融合跨模态数据。

方法又可以分为：特征映射的简单拼接；各模态间关系的跨模态的自关注操作

3.后融合（目标级融合）指将各模态模型的预测结果进行融合，做出最终决策。

基线漂移：

一个特别低频的曲线叠加到了原始信号上，使得原始信号有缓慢的轻微的上下浮动的趋势。

聚类的自监督表征学习：涵盖了自监督与表征学习

深度聚类，一个点是特征学习，一个点是聚类；而神经网络的特征学习通常是有监督的训练，而聚类问题是无标签数据

如果我们的标签是语义标签，那么此时类别标签之间的欧式距离可以衡量类别之间的相似程度，这点可视为是简单的语义信息。

聚类算法有许多，比如划分式聚类（k-means），基于密度的聚类算法（DBSCAN, OPTICS），层次聚类算法等。

一致性聚类是为不同的聚类算法，选择最优的聚类数量（K）。

RNN的两种训练模式

1. free-running mode
2. teacher-forcing mode

free-running mode就是大家常见的那种训练网络的方式: 上一个state的输出作为下一个state的输入。

Teacher Forcing是一种快速有效地训练循环神经网络模型的方法，该模型使用来自先验时间步长的输出作为输入。它每次不使用上一个state的输出作为下一个state的输入，而是直接使用训练数据的标准答案(ground truth)的对应上一项作为下一个state的输入。

零样本学习（Zero-Shot Learning）是一种能够在没有任何样本的情况下学习新类别的方法。通常情况下，模型只能识别它在训练集中见过的类别。但通过零样本学习，模型能够利用一些辅助信息来进行推理，并推广到从未见过的类别上。这些辅助信息可以是关于类别的语义描述、属性或其他先验知识。训练集中不包含测试集中的样本类别，但训练集中可以包含新类型的属性的定义。

一次样本学习（One-Shot Learning）是一种只需要一个样本就能学习新类别的方法。这种方法试图通过学习样本之间的相似性来进行分类。例如，当我们只有一张狮子的照片时，一次样本学习可以帮助我们将新的狮子图像正确分类。

少样本学习（Few-Shot Learning）是介于零样本学习和一次样本学习之间的方法。它允许模型在有限数量的示例下学习新的类别。相比于零样本学习，少样本学习提供了更多的训练数据，但仍然相对较少。这使得模型能够从少量示例中学习新的类别，并在面对新的输入时进行准确分类。

如果训练集中,不同类别的样本只有1个。则称为0ne Shot Learning

如果训练集中。不同类别的样本只有少量则称为Few-Shot Learning

Ono-Shot Learning 属于Few-Shot Learning的一种特殊情况

元学习（Deep Meta-Learning）

是一种机器学习方法，旨在让机器能够学习如何快速适应新任务，而不是仅仅在已知的任务上进行训练。具体来说，元学习的目标是让机器学会如何通过有限的样本数据，快速地适应新的任务，并且能够在不同的任务之间进行泛化。元学习通过将模型的训练过程视为一个学习过程，从而使模型可以自动学习如何学习。元学习已经被广泛应用于少样本学习、迁移学习、强化学习等领域，成为了机器学习中一个备受关注的研究方向。

提取领域无关特征的思路一：

域适应（Domain Adaption）/域对抗（Domain Adversarial）

是迁移学习中一个重要的分支，用以消除不同域之间的特征分布差异。其目的是把具有不同分布的源域(Source Domain) 和目标域 (Target Domain) 中的数据，映射到同一个特征空间，寻找某一种度量准则，使其在这个空间上的“距离”尽可能近。然后，我们在源域 (带标签) 上训练好的分类器，就可以直接用于目标域数据的分类。

（背景）在传统监督学习中，我们经常需要大量带标签的数据进行训练，并且需要保证训练集和测试集中的数据分布相似。如果训练集和测试集的数据具有不同的分布，训练后的分类器在测试集上就没有好的表现。

域对抗（域适应）训练_domain adversarial training-CSDN博客

基于对抗的迁移学习方法: DANN域对抗网络

在域适应问题中， 存在一个源域和目标域。和生成对抗网络相比，域适应问题免去了生成样本的过程，直接将目标域中的数据看作生成的样本。因此，生成器的目的发生了变化，不再是生成样本，而是扮演了一个特征提取（feature extractor）的功能：如何从源域和目标域中提取特征，使得判别器无法区分提取的特征是来自源域还是目标域。

基于对抗的迁移学习方法: DANN域对抗网络 - 知乎 (zhihu.com)

一个好的可迁移特征，应该满足两个条件：

1.Domain-invariance：面对这些特征，你无法区分它们是来自目标域还是源域。

2.Discriminativeness：利用这些特征，你可以很好的完成分类任务。

因此，域适应问题的网络损失由两部分构成：训练损失（标签预测器损失）和域判别损失。

提取领域无关特征的思路二：

将泛化能力下移到较低的信号水平，而不是在高级模型层面。通过从原始领域相关信号中提取领域无关特征，可以更集中地反映手势本身，从而实现跨领域识别模型的可解释性和有效性。“较低的信号水平”是指在数据的处理和分析过程中，将注意力集中在原始信号的基本特征和属性上，而不是在经过高级处理或复杂特征提取之后的抽象表示层面。换句话说，这种方法更注重对原始数据本身的直接处理和分析，而不是依赖于高级特征或模型层次的表示。

通常情况下，较低的信号水平可以指代原始数据中的基本特征，比如时间序列数据中的原始采样点，图像数据中的像素值等。通过在这个较低的信号水平上进行特征提取和分析，可以更好地捕捉数据的本质特征，并且有助于实现更好的泛化能力和模型效果。