知识点——样本间独立性，传统表征学习，显式物理连接，隐含交互，噪声，类相关类无关

年纪大了，有时候概念就混淆了。。。记一下小概念
后续再补充。

样本间独立性

传统表征学习：

假设每个输入样本独立（意味着每个样本的特征在模型处理时都被视为与其他样本无关），分别将每个样本输入进encoder网络得到其在隐空间中的表征，每个样本的前向计算过程互不干扰（意味着处理某个样本的结果不会影响其他样本）。

但是存在一个问题，由于显式的物理连接或隐含的交互关系，每个观测样本之间可能存在相互的依赖，即非独立性。

显式物理连接：

样本之间存在明确关系，比如物体之间的相对位置和距离是固定的，桌上的物体，人的眼睛鼻子之间关系，这种关系物理上固定为显式连接；图像中的边缘像素和周围的边缘像素相连，形成一个轮廓是显式空间连接。

意味着样本之间不完全独立，一个样本属性会影响其他样本属性。

隐含交互：

样本之间没有直接可见连接，但是存在某种间接依赖。比如nlp一个句子上下文**没有直接语法连接，但是语义上相互影响。**视频中的运动轨迹相互影响。

意味着每个样本会影响其他样本的表现和模型对样本的理解。

显式物理连接和隐含交互关系导致的问题：

• 无法捕捉空间或语义上的关联：导致模型无法正确理解物体之间的关系，影响识别和分割的准确性。
• 缺乏上下文信息：导致模型在处理复杂场景时无法充分利用上下文信息，从而做出错误的判断或分类。
• 全局依赖的处理：如果要考虑图像中所有像素之间的相互关系，计算量将会迅速增加，特别是在高分辨率图像或视频中。

常用解决方法：

• 引入交互项：在模型中加入交互项来捕捉样本之间的相互作用关系。
• 图神经网络：利用图神经网络（GNN）等模型来处理具有显式物理连接或隐含交互关系的数据集。

另一个容易混淆的概念是：类无关，因为隐含交互没有直接依赖关系，类无关也没有依赖关系，区别在后面

类相关类无关

类相关：
不同类别样本之间存在的某种关联或依赖关系。这种关系可能与样本的独立性相关，也可能独立存在。例如，在某些任务中，不同类别的样本可能共享某些特征或属性，这些共享特征会影响类别的划分。
类无关：
不同类别样本之间没有明显的关联或依赖关系，它们各自独立地包含了不同的信息。实际中完全类无关的样本很罕见

常用解决方法：

• 多任务学习：当不同类别的样本之间存在某种关联时，可以采用多任务学习方法来同时学习多个相关任务，从而提高整体性能。
• 特征共享与特定任务特征：在设计模型时，可以区分共享特征和特定任务特征，以更好地捕捉类相关和类无关信息。

另一个容易混淆的概念是：噪声，因为类无关是不相关信息，噪声也是无关信息，区别在后面

噪声

噪声：数据集中存在的错误或无关信息，这些噪声会干扰模型的训练过程。

常用解决方法：

• 特征选择：通过特征选择方法（如卡方检验、互信息、递归特征消除等）来筛选出对分类任务最有用的特征。
• 降维技术：利用主成分分析（PCA）、线性判别分析（LDA）等降维技术来去除冗余特征并降低噪声。

类相关类无关问题与独立性的关系

类相关类无关：不同类别样本之间的整体关系
样本独立性：单个样本之间的相互作用关系

在某些情况下，样本之间的非独立性可能源于类相关关系，即不同类别的样本由于共享某些特征或属性而表现出一定的关联性。

类无关和噪声的关系

噪声：无关信息
类无关：与特定类没有直接关联的信息

区别：
噪声强调对信号的干扰，而类无关强调与特定类别的无关性。

---

隐含关系：样本之间没有直接依赖关系
类无关：不同类别样本之间没有明显的关联或依赖关系

区别：
隐含交互强调元素之间的不易察觉的相互关系，类无关强调的是信息与特定类的依赖关系

一个关注信息与类别的关系，另一个关注元素之间的相互作用。