语义通信综述：Generative AI-driven Semantic Communication Networks: Architecture, Technologies and Applicat

已于 2024-03-22 20:02:26 修改
阅读量388 收藏 2
点赞数 8
分类专栏： 智简网络&语义通信 文献阅读 文章标签： 人工智能 语义通信 大模型
于 2024-03-22 20:02:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42980908/article/details/136945406
版权

单模态模型和多模态模型的架构

在这里插入图片描述
这张图主要关注不同模型的架构

语义通信

  • 文本语义通信
    消息中的每个单词都被转换为token，token是语义表示的基本单位。Trasnformer结构被广泛使用。
    基于知识库的语义通信系统能够根据知识库描述的关系预测单词，而不是仅仅依赖上下文，因此提高了预测的准确性。例如，[1]引入了知识库驱动的语义通信系统，并在语义编码器和语义解码器中使用Text2KG和KG2Text网络
  • 音频语义通信
    利用NLP技术可以将音频转换成文本，但音频还需要考虑保真度、音量、频率和音调。
    可以采用信号失真比（SDR）和语音质量感知评估（PESQ）用作评估重建语音信号质量的性能指标
  • 图像传输
    Transformer、CNN、GAN通常用于图像语义通信
  • 视频传输
    相较于图像传输，视频传输需要保持连续帧之间的时间一致性，以考虑时间维度

参考文献

[1] Cognitive Semantic Communication Systems Driven by Knowledge Graph

一去不复返的通信er
关注
  • 8
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【图像超分】论文精读：ESRGAN: Enhanced Super-Resolution Generative Adversarial Networks
畅游计算机视觉的海洋
03-30 6014
超分辨率生成对抗网络(SRGAN)[1]是一项开创性的工作，能够在单幅图像超分辨率过程中生成逼真的纹理。然而，幻觉细节往往伴随着令人不快的伪影。为了进一步提高视觉质量，我们深入研究了SRGAN的三个关键组件——网络架构、对抗性损失和感知损失，并改进它们中的每一个以获得增强的SRGAN (ESRGAN)。特别是，我们引入了无批归一化的残差密集块(RRDB)作为基本网络构建单元。此外，我们借鉴了相对论GAN[2]的思想，让鉴别器预测相对真实性而不是绝对值。
Hands-On-Generative-Adversarial-Networks-with-PyTorch-1.x:Packt发布的具有PyTorch 1.x的动手生成对抗网络
05-26
使用PyTorch 1.0的动手生成对抗网络 这是Packt发行的的代码存储库。 使用Python实施下一代神经网络以构建强大的GAN模型这本书是关于什么的？ 随着研究和开发的不断发展，生成对抗网络（GAN）是深度学习领域的下一个...
人工智能行业从CHAT-GPT到生成式AI(Generative AI)：人工智能新范式，重新定义生产力.pdf
02-12
人工智能行业从CHAT-GPT到生成式AI(Generative AI)：人工智能新范式，重新定义生产力.pdf
【每日论文】GenCo: Generative Co-training for Generative Adversarial Networks with Limited Data
qq_42019320的博客
03-01 2824
研究背景： 1. 当前生成对抗网络在许多图像任务中取得了不错的效果，但是需要大量的训练数据； 2. 目前关于小数据集的训练存在判别器容易过拟合的问题； 创新点： 该论文主要对有限数据集训练下容易导致判别器的过拟合问题展开了研究，引入了多互补鉴别器，在训练过程中，从不同的角度提供监督信息。主要表现为：权重差异和数据差异两个方面。 ...
《BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining》 ---- 译文与PPT解释
西小庄村高伟 的博客
02-06 1212
BioGPT(生物医学领域的专业GPT)的阅读与思考、Bert、GPT、Prompt提示机制
论文阅读4:《GPT-GNN：Generative Pre-Training of Graph Neural Networks》
better_zoe_chang的博客
11-22 1039
KDD,2020 论文链接：https://arxiv.org/abs/2006.15437 代码链接：https://github.com/acbull/GPT-GNN 论文PPT: https://acbull.github.io/pdf/gpt.pptx 一、简介 （题外话：看了几篇pre-training文章,除了masked还是masked，为啥masked效果这么好？？？） 1、方法概括 本篇文章预训练方法概括讲就是：1）属性生成；2）边生成。 为什么要生成节点和边呢？因为用了masked！
语义通信必读综述：Semantic Communications for Future Internet: Fundamentals, Applications, and Challenges
一去不复返的通信er
06-09 4206
一篇值得作为参考的综述类文章
Super-Resolution-using-Generative-Adversarial-Networks-master.zip
08-16
Generative-Adversarial-Networks生成式对抗网络代码进行超分辨
人工智能-从CHAT-GPT到生成式AI（Generative AI）：人工智能新范式，重新定义生产力.rar
02-27
人工智能-从CHAT-GPT到生成式AI（Generative AI）：人工智能新范式，重新定义生产力.rar
CLIP 浅析
Gowi的博客
05-11 985
CLIP的英文全称是，即一种基于对比文本-图像对的预训练方法或者模型。
2024第二届全国人工智能应用场景创新挑战赛
最新发布
audyxiao001的博客
05-14 261
本文从竞赛模式、参赛组别和条件、参赛注意事项以及赛程设置四个角度介绍了第二届全国人工智能应用场景创新挑战赛，并给出大赛官网，以便读者了解更多详细信息。
论文《Deep graph tensor learning for temporal link prediction》阅读
qq_43312665的博客
05-10 1183
本文提出了一种有效的动态图嵌入方法，称为 DGTL，用于时间链接预测。DGTL 与传统的动态图学习方法不同，它避免使用循环神经网络来识别时间相关信息。相反，我们建议使用时间序列因素来学习时间链接的历史变化模式，并生成反映图的动态变化的时间耦合链接级嵌入向量。此外，我们将随时间变化的图快照表示为张量，并通过图紧凑技术使用单个图神经网络模型来捕获图的结构特征，从而实现节点级空间特征嵌入。最后，我们融合上述两个嵌入向量，通过适当地结合时空图演化信息来预测动态图中的时间链接。
【话题】Agent AI智能体的未来
小5聊的博客
05-11 901
随着Agent AI智能体的智能化水平不断提高，它们在未来社会中的角色、发展路径以及可能带来的挑战也引起了广泛关注。
人工智能应用正在改变我们的生活
Appen_China的博客
05-09 728
在这个AI蓬勃发展的时代，你如何使用人工智能？如果您认为还没有，请再想一想。人工智能已经为我们的许多日常活动提供了动力，尽管您可能还没有有意将其用作工具，但这种情况可能会在不久的将来发生变化。随着构建和改进自己的大型语言模型（LLM），人工智能竞赛才刚刚开始。微软上个月推出了自己的 Bing AI 聊天机器人，谷歌的“Bard”于今年 3 月发布，同时我们也不能忘记划时代的事件：。虽然创建最好的大型语言模型是一个突出的时事话题，但它并不是人工智能世界中唯一的竞赛。
【会议征稿】第六届人工智能技术与应用国际学术会议 (ICAITA 2024)
qq_43811536的博客
05-13 903
第六届人工智能技术与应用国际学术会议, 2024 6th International Conference on Artificial Intelligence Technologies and Applications (ICAITA 2024) 会议时间：2024年6月14日-16日 会议地点：中国-长春
python3.6.8安装Transformers
筱阳的博客
05-13 511
4.transformers安装。
esrgan: enhanced super-resolution generative adversarial networks
06-28
### 回答1： ESRGAN是增强型超分辨率生成对抗网络的缩写，它是一种深度学习模型，用于将低分辨率图像转换为高分辨率图像。它使用生成对抗网络（GAN）的方法，通过训练生成器和判别器来提高图像的质量。ESRGAN是目前最先进的超分辨率算法之一，它可以生成更加真实、细节更加丰富的高分辨率图像。 ### 回答2： ESRGAN是一种增强超分辨率生成对抗网络（Enhanced Super-Resolution Generative Adversarial Networks）的算法，它采用了图像增强技术和深度学习的方法，可以将低分辨率（LR）的图像转化为高分辨率（HR）的图像。该算法主要的贡献在于，它可以生成更加逼真的HR图像，从而更好地应用于实际的图像处理领域。 该算法主要是由两个子模型组成的，一个是生成模型（Generator），另一个是判别模型（Discriminator）。生成模型通过学习HR图像和相应的LR图像之间的关系，生成更加逼真的HR图像。而判别模型则评估生成模型生成的HR图像是否真实，从而提高生成模型的准确度。 ESRGAN算法采用特殊的损失函数，即感知损失和自适应增强损失，来优化生成模型。感知损失通过VGG网络来计算生成模型和HR图像之间的差异，以此来调整生成模型的参数。自适应增强损失则用于动态调整生成模型的输出图像的细节层次，使生成模型产生更加真实的输出图像。 ESRGAN算法在图像增强领域取得了显著的成果，其生成的HR图像质量要比先前的SRGAN算法有了很大的提升。因此，ESRGAN算法在实际应用中具有广泛的前景，可以为图像处理领域提供更加高效、准确和可靠的方法。 ### 回答3： ESRGAN（Enhanced Super-Resolution Generative Adversarial Networks）是一种利用深度学习算法进行图像超分辨率的技术。其主要思路是基于GAN模型，通过训练一个生成器去从低分辨率图像生成高分辨率图像，同时以高分辨率的真实图片为样本来训练判别器模型，使其能够区分出生成器生成的图像是否为真实高清图像。 ESRGAN相对于传统的超分辨率算法，具有以下几个优点： 1.超分辨率效果更好。传统的超分辨率算法往往是基于一些数学模型进行插值运算，因此往往会出现图像模糊、失真等问题。而ESRGAN能够通过深度学习算法学习到更加准确的纹理特征，从而可以生成更为真实的高清图像。 2.可扩展性更强。ESRGAN的GAN模型可以通过增加网络深度、增加训练数据等方式对模型进行优化，从而提高图像超分辨率效果。 3.针对性更强。ESRGAN可以针对不同种类的图像进行训练，从而能够对各种类型的图像进行超分辨率处理，具有广泛的适用性。 4.易于应用。ESRGAN训练出的模型可以很方便地应用到实际生产环境中，对于需要进行图像超分辨率处理的应用场景具有很大的帮助作用。 虽然ESRGAN在图像超分辨率方面具有较为突出的优势，但其也存在一些缺点和挑战。比如需要大量的高清图像数据用于训练，需要考虑到训练时间和计算资源的问题；还需要解决一些局部纹理复杂的图像超分辨率问题。总之，ESRGAN是一种非常有潜力的图像超分辨率算法，将有助于推动图像处理技术的进一步发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值