用于语义和目标导向压缩的机器学习技术-笔记

摘要

取自Beyond Transmitting Bits: Context, Semantics, and Task-Oriented Communications，主要是阅读其第四章的笔记

介绍

• 语义压缩semantic compression的特点：提取与接收器要执行的任务最相关的语义信息，减少带宽消耗和传输延迟
• 现实落地的问题：统计信息不可知
• 解决方案：机器学习工具训练模型，以促进语义信息提取，而无需数学模型

接下来，分两个方向介绍语义通信研究：训练和预测

远程模型训练（？联邦学习）

模型压缩

DNN模型压缩 model compression：神经网络大部分参数是多余的，可以消除没有帮助的参数。

方法有：

1. 高级剪枝，例如second-order derivative the Hessian
2. 直接使用训练期间施加的稀疏性约束来训练网络（？类似于预剪枝）
3. vector quantization 网络权重量化。对于典型的网络，大约 90% 的存储被密集连接层占用，而超过 90% 的运行时间被卷积层占用，那减少通信开销，主要对全连接层“动刀”。
4. knowledge transfer 把大型复杂集成模型学到的知识迁移到较小的模型中
5. 模型架构优化

 分布式情况

CEO问题：如何最有效地估计一个不可观察的随机变量，这个变量被多个具有噪声的观察者所观察。

依据是否中心化分为：

• federated learning （用随机梯度下降迭代） 
  • fedavg算法：分布式有损问题，迭代的目标是计算模型更新的平均值，是一种语义通信
• fully distributed, or peer-to-peer learning

多终端函数计算问题

计算和通信的不同角色

一般的P2P：将这些随机变量传送到节点，然后节点计算函数值，这样一般最优

多终端函数计算问题的最优性能不得而知，目前的优化方式收益微小

远程推理

various lossy compression problems can be considered in the context of semantic communication under the appropriate reconstruction metric

在适当的重构度量条件下，各种有损压缩问题都可以在语义通信的背景下加以考虑

DNN对比别的ML算法在压缩上的优势：可以针对接收方需要的任何重建度量来训练

视频压缩中，用region-of-interest，等一系列针对特定检测任务的视频压缩算法

split learning：将DNN分为两部分，一部分在编码器执行，主要是特征提取，另一部分在接收器执行，过程中可以对特征向量量化/压缩（无监督学习，自编码器）

边缘图像检索问题：一方面，要减少传输的数据量（带宽有限），一方面，数据库仅在原创可用，因此需要压缩降低通信速率。可能用更多数据来面部图像压缩

研究表明，无法同时最小化重建信号的分类误差率、失真和感知度量。