联邦学习+语义通信阅读笔记（七）

语义通信基础论文

Towards a Theory of Semantic Communication

语义源是一个实体，具有推理能力，自身状态等等，可以将语法转为消息；可以把语义源想成一个人，依据自己的认知，知识背景对事物进行描述

通用语义模型

 

 

 语义熵：

当存在背景知识库时，语义熵表示为条件逻辑概率：

 如果信源和信宿不共享背景知识库，那么背景知识库的存在降低了信源的信息量。语义熵的减少意味着我们可以在不丢失信息的情况下压缩信源。一般来说，在共享背景知识的帮助下，我们将能够使用更少的消息进行交流，以实现信源的最大信息量。

语义信道编码:对于每个离散的无记忆通道，语义信道容量为：

 

Semantic Communications: Principles and Challenges

 

知识图谱链接的多模态模型

IMGpedia: A Linked Dataset with Content-Based Analysis of Wikimedia Images
ps:（IMGpedia: 2017年5月6日向公众发布）

1.摘要

IMGPedia是一个大规模的链接数据集，包含来自Wikimedia Commons数据集的图像的视觉信息：它汇集了1500万图像的视觉内容描述符、这些图像之间的4.5亿个视觉相似关系、与DBpedia Commons中的图像元数据相链接，以及与单个图像关联的DBpedia资源相链接。在本文中，描述了IMGpedia 数据集的创建，概述了其模式及其内容的统计信息，提供了结合图像语义和视觉信息的示例查询，并讨论了该数据集的其他设想用例。

链接的数据集，如DBpedia（其中包含从Wikipedia自动提取的结构化数据），还有WIKIDATA（它允许用户直接以结构化格式添加和管理数据）。
与多媒体相关的各种数据集，如描述电影的LINKEDMDB、描述乐队和流派的BBC MUSIC等等。最近，DBpedia Commons发布了从Wikimedia Commons中提取的元数据，其中的Wikimedia Commons是一个丰富的多媒体资源，包含3800万个可自由使用的媒体文件（图像、音频和视频）。
相关工作：在描述多媒体的可用数据集中，重点是捕获多媒体文件的高级元数据（例如，作者、创建日期、文件大小、宽度、持续时间），而不是多媒体内容本身的音频或视频特征。然而，在之前的相关工作中提到，将结构化元数据与基于多媒体内容的描述符相结合可能会带来多种应用，例如语义增强多媒体发布、检索、保存等。虽然这些工作已经提出了以语义Web格式描述多媒体文件音频或视频内容的方法，但我们不知道有任何包含基于内容的多媒体文件描述符的公共链接数据集。例如，DBpedia commons 没有直接从Wikimedia Commons的多媒体文件中提取任何音频/视频特征，而是只从描述文件的文档中捕获元数据。

贡献：沿着这些思路，创建了IMGPedia：一个链接的数据集，它包含了Wikimedia Commons图像的视觉描述符和视觉相似关系，它与DBpedia Commons数据集（为图像提供元数据，如作者、许可证等）和DBpedia数据集（提供有关与图像关联的资源的元数据）相链接。

4.图像分析（Image Analysis）
这一部分主要弄清楚三个问题：

在获取图像后，继续计算不同的视觉描述符，它们是高维向量，用于捕获图像内容的不同元素（例如颜色分布或形状/纹理信息）。

需要计算的视觉描述符有：Gray Histogram Descriptor（灰度直方图描述符GHD）、Histogram of Oriented Gradients Descriptor（定向梯度直方图描述符HOG）、以及Color Layout Descriptor（颜色布局描述符CLD），这些描述符的计算在Debian 4.1.1：一个2.2 GHz 24-core Intel® Xeon® 120GB of RAM.的处理器上执行，分别花费了43h、107h和127h；

然后，将使用这些描述符来计算图像之间的视觉相似性，如果描述符之间的距离较低，则两个图像在视觉上相似；具体步骤：
step1 : 为了避免 P(n,2)蛮力比较，使用近似搜索法，根据每个视觉描述符计算每个图像的10个最近邻；

step2 : 将图像分成16个存储桶，其中对于每个图像，初始化16个线程以搜索每个存储桶中的10个最近邻居；

step3 : 执行结束时，有 160 个候选作为全局 10 个最近邻，因此选择其中距离最小的 10 个以获得最终结果。

An imo: Image 是一种抽象资源，表示Wikimedia Commons数据集的图像，描述图像（高度和宽度）的维度、Wikimedia Commons中的图像URL，和指向DBpedia Commons中补充资源的owl：sameAs 链接；

An imo: Descriptor（描述符）：通过imo:descripes关系与图像链接。为了保证输出三元组数量的可控性，将描述符的向量存储为字符串；将单个维度存储为 (192-288) 个单个对象会使输出三元组膨胀到无法管理的数量；另外，不预期对描述符的各个值进行SPARQL 查询；

An imo: ImageRelation（图像关系）：虽然曼哈顿距离是对称的，但这些关系是基于k近邻（k-nn）搜索实现的，k-nn中，图像a是图像b的k近邻并不意味a和b有着反向关系；因此，图像关系捕获源和目标图像，其中目标位于源的k近邻中。我们还添加了从源图像到目标 k-nn 图像的 imo:similar 关系。

用例一：可以查询视觉相似关系，根据最近邻计算找到颜色、边缘和/或强度相似的图像； 例如，使用HOG描述符（捕获边缘的视觉相似性）请求Hopsten Marktplatz图像的最近邻居。查询语句与查询结果分别如下：

用例二： 可以使用联邦SPARQL查询执行图像的视觉语义检索，通过链接到DBpedia将图像的视觉相似性与语义元数据结合起来；在清单6中，展示了一个使用DBpedia SPARQL端点的联邦SPARQL查询示例，该端点从分类为“欧洲罗马天主教大教堂”的文章中获取图像，并从分类为“博物馆”的文章中查找类似图像

主要面对边云协同场景下的共享知识库提出优化方案

Federated Zero-Shot Industrial Fault Diagnosis With Cloud-Shared Semantic Knowledge Base 

首先提出了一种构建语义知识库的通用方法，该方法提供了对不同故障的辅助判别描述。其次，利用两个耦合变分自编码器设计双向对位网络，实现数据和属性的融合，并允许属性描述辅助故障诊断任务。

构建了一种云边协同模型聚合策略，利用生成回放机制，整合每个客户端的知识，从而增强了全局模型的泛化和生成能力。在火电厂组上进行的实验表明了所提出的框架对局部和全球看不见的类别进行分类的可行性和有效性（重点）

 

 面向一个更泛化的联邦少样本故障诊断算法，在真实的工业场景中，存在着所有客户都罕见的故障余，只有很少的训练样本，甚至没有训练样本。当这些故障发生时，现有算法会错误地将它们诊断为可见故障，因为它们会在训练前冻结输出标签的维度，并且未看到的类别不包含在输出标签集中，一方面，这些模型仅使用本地数据进行建模，训练中涉及的类别很少，导致模型的泛化性差。另一方面，一些局部看不见的故障实际上已经在其他客户端中发生过，而模型并没有利用这些信息。图2（c）说明了我们提出的零样本故障诊断方案。在训练阶段，使用所见类别的数据和相应的语义描述进行零样本建模，并聚合不同客户的诊断知识，以增强每个客户的零样本诊断能力。准确的边界是通过语义知识的参与和不同客户端模型的集成来建立的。

 1）关键信息提取：首先提取每个故障的关键描述，包括故障标题、故障设备、故障特性、故障原因、处理措施。这些信息用于在随后维护知识库时快速调用这些故障。

2）属性分配：根据故障诊断表的文字描述，从{0,1}确定属性的值。属性分为五个类别，即“原因”、“设备”、“媒体”、“表示”和“度量”。Cause 属性是失败的原因。“设备”和“介质”分别描述了故障发生时设备或介质是否异常。Representation描述故障的特征，Measure属性描述故障发生后是否执行相关的处理操作。一旦分配了所有现有属性，此故障就会从诊断表中的非结构化文本描述转换为知识库中的语义属性描述。

3）属性递增和迭代赋值：值得注意的是，由于我们无法预先汇总适用于所有故障的所有属性，因此随着整理案例数量的增加，属性的数量也会递增。例如，在知识库收集到具有表征 a 的故障后，大多数属性可以直接在具有相同表征 a 的新故障中复用。但是，前一种情况是由原因 b 引起的，而新的失败是由原因 c 引起的，因此我们需要添加属性是否与 c 相关。正是包含了这种判别性属性，使得模型能够区分具有表征 a 的特征的故障，即原因 b 和原因 c。换言之，属性增量不仅更全面地描述了故障，而且增加了不同故障之间的判别信息。

实现云端模型聚合

1）客户端模型的蒸馏：每个客户端将模型集Mj上传到云端。在得到每个客户的模型之后，我们需要提炼每个客户的知识。如前所述，模型中有四种途径。每个客户端的故障语义描述在云端是已知的，因此我们可以通过跨代路径生成每个客户端的伪数据。以客户端 j 为例，将客户端 j 处看到的故障的属性向量输入到云端的路径 Aj s → φj a → Zj s → θj f → Xˆj s，从而提炼出客户端 j 的伪数据。此操作适用于所有客户端模型。

2）云侧网络模型训练：利用伪数据∪M j=1Xˆj s和As）训练云侧双向对齐网络，表示为c = {φc f ， θ c f ， φc a， θ c a ， ψc}。换句话说，这里的模型聚合是通过基于内存的生成重放机制实现的，而不是简单的模型参数的加权组合。这样可以避免在对模型参数进行加权平均时参数的波动，从而导致模型聚合失败。训练后，将看不见的范畴的属性向量Au输入到路径Au → φc a → Zu → θ c f → Xˆ u中，得到看不见的范畴的伪数据Xˆu。此处的“看不见”类别是指在所有客户端上都未发生的故障，或者已发生但未记录数据的故障。虽然没有数据，但我们还是可以通过专家的经验来描述这种失败的属性Au。

3）云侧映射函数的模型训练：随后，使用看不见的类别Xˆu的伪数据和客户端提取的伪数据∪M j=1Xˆj s和相应的属性向量Au ∪ As来训练数据到属性的映射模型f c。由于看不见的类别的伪数据是由生成能力更强的云模型生成的，而且所有客户端的看得见类别也都参与了训练，因此该模型的性能比任何客户端映射模型都要强。

4）云模型的分布：在最后一步，云向每个客户端发送模型Mc = {φc f ， θ c f ， φc a， θ c a ， ψc， LOFc， f c}。F C直接用于属性预测，{Φc F， Θ C F ， ΦC A， Θ C A ， ΨC}作为局部模型的参数初始化，然后利用局部数据进行微调，实现更准确的边界构建。

Federated Multi-Target Domain Adaptation

提出了一种双重适配（DualAdapt）方法，该方法将训练框架解耦为两部分：客户端设备上的本地适配和服务器上的全局适配。

在计算资源较少的客户端设备上，我们将特征提取器冻结在深度神经网络中，并学习一个轻量级的局部分类器来捕获目标特征。同时，我们在客户端数据上拟合了参数化高斯混合模型（GMM）来编码其统计分布。GMM参数和局部分类器分别携带目标域的生成信息和判别信息，然后将其上传到服务器进行计算量大的特征适配。

在服务器端，我们在收到适配的本地分类器后，共同更新特征提取器和全局分类器。由于服务器无法访问客户端数据，因此我们设计了一个代理集来近似目标域的数据分布。本文以源域数据集为基础，采用混淆方法构建多样化、大规模的域。混合集提供了覆盖目标域的广泛支持，我们可以通过拟合在客户端数据上的 GMM 对实例进行加权，以近似于相应的目标域。

理想情况下，服务器从客户端收集本地分类器和数据，并按照式2中所述调整特征提取器G。但是，服务器无法在 FL 设置中访问目标数据。为了对齐来自两个域的特征，我们需要一个特定的代理来仅使用服务器数据来近似目标分布。除了广泛使用的图像转换（例如翻转、裁剪和颜色抖动）外，我们还通过重新权衡大量可用服务器数据的混淆[44]来构建目标域的代理。Mixup 旨在通过对训练样本的凸组合进行密集采样来正则化神经网络训练。大规模源数据的凸包可能与目标域的支持有相当大的重叠。此外，推导了经验风险最小化与混淆之间的关系[44]，并实证证明可以有效提高模型泛化、对对抗样本的鲁棒性和训练稳定性。这些特性在FMTDA中尤为重要因为与非i.i.d.的分散培训。未标记的客户端数据往往是不稳定的。通过在每个目标域上拟合 GMM，我们可以根据每个客户端的数据密度进一步对代理集进行采样。请注意，GMM 在特征空间中对全局统计数据进行编码，与客户端模型的参数/梯度相比，特征空间携带的私有信息更少。具体来说，我们将数据批处理中的两个源实例 xm， xn ∼ DS 随机平均为混淆实例 xmn = （xm +xn）/2。给定来自客户端 i 的 GMM 参数 WT i，服务器使用它来对每个混淆示例 xmn 进行加权，用 WT i （xmn） 表示。服务器端适配的目标是混淆示例的加权平均值：

 

首先在标记的源数据 DS 上预训练服务器模型（G、Fg、WS）。然后，将模型广播到所有客户端，并通过 Fg 初始化每个本地分类器 Fl i。在本地优化（式5）之后，每个客户端将其本地分类器和GMM参数WT上传到服务器。服务器首先更新特征提取器和全局分类器（方程 6），然后使用源数据的交叉熵损失对模型 （G， Fg） 进行微调，然后再将它们广播回客户端。在拟合GMM模型时，我们用PCA减小特征维度，以保持至少80%的原始能量，并根据经验选择两倍于类数的混合分量数量。客户端模型通过小批量梯度下降进行训练，服务器模型通过动量优化器进行更新以稳定训练。在推理阶段，我们将全局和局部分类器的预测汇总为：y ̃（x） = （Fg（G（x）） + Fl i （G（x）））/2， 其中 x 是来自客户端 i 的测试示例。