多模态网络裁决

原创 已于 2025-03-07 18:54:03 修改 · 1k 阅读 · 9 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#学习

于 2025-03-03 17:04:13 首次发布

多模态内生网络内生安全综合实践

来自学长的Tips：能够打通所有等级的学弟学妹，还犹豫什么，快来福大读研。
实践预览：需要通过自己的努力利用p4语言来一步一步实现一个多模态网络，并且实现一些内生安全功能。

1. 实践任务

Level 1 学习多模态网络

（1）实践内容

  • 直接看压缩包《多模态内生安全入门》的内生安全入门2.0.word，来看懂这个入门材料中关于多模态网络和内生安全机制的含义。
  • 在自己主机内利用wireshark抓取ipv4的数据包，抓完之后的数据包以pcap的形式进行保存，并传入到虚拟机，数据包不超过10MB。
  • 自己创建一个新文件夹，在虚拟机内利用mininet搭建一个如下图所示的拓扑。可以用l3函数对这些设备进行ip与mac地址自动赋值，其中两台主机请同学以自己的组名_数字进行命名，如XXX_1。
    示例拓扑

（2）实践要求

  • 提交一个压缩包，内包含三个文件，一个是本组对多模态网络的汇报ppt；两个Pcap数据文件；mininet拓扑文件。

Level 2 让多模态网络动起来

（1）实践内容

  • 学习向这几台设备中写入正确的路由表，当前路由路径只需要支持h1-S1-S2-S4-h2。在makerun之后，使用pingall测试网络是否可以正常运行。可以利用Json进行路由表写入，也可以通过集成度更高的P4runtime进行开发可以点击这里查看P4runtime与API的使用方法，来实现控制面的对数据平面进行控制的JSON文件编写。
  • 学会IPv6中有关义头部字段的定义与路由流程，学习自定义IPv6头部，并且掌握对应的解析规则，然后自己设计一个头部字段，介于以太层与IP层之间，名字以自己小组名字为命名，内涵字段包含每个小组成员的名字，要在解析阶段解析该头部字段。

（2）实践要求

  • 提交一个压缩包，内包含两个文件，一个是填充交换机表项的Json文件；二是本组内自定义头部字段可运行的p4文件。

Level 3 让多模态网络动都起来

（1）实践内容

  • 向拓扑中的S1，S3，S4的p4代码加入IPv6头部解析功能与转发功能。其中S3交换机只支持ipv6协议转发，S1与S4要支持IPv4与IPv6的双模态转发。
  • 学习数据包重放工具，如Tcpreplay等，先在h1重放ipv4数据包至h2证明ipv4网络可以运行（mininet中如何使用tcpreplay，可以点击这里mininet中使用Tcpreplay）。
  • 测试S1，S3，S4的p4代码是否正确并在h2重放IPv4数据包至h1，证明IPv6可行，在S3交换机进行抓包证明数据确实被封装为了IPv6数据包。

（2）实践要求

  • 提交一个压缩包，内包含所有设备的P4文件，请注明每个P4文件用于哪个设备；h1与h2接收到数据包的截图；S3抓取到的IPv6数据包截图。

Level 4 多模态裁决

  • 利用组播在S1中将ipv4数据包复制成ipv4模态与ipv6模态的两份，ipv4数据包走路径一传递给S2交换机，ipv6走路径二传递给S3交换机。最后在S4交换机进行裁决，将数据包的原有的数据包头进行hash。
  • 同理如果是h2传输至h1的数据包，将由S1进行裁决。
  • 将hash之后的值在S4 交换机中进行比较，如果hash值相同，证明数据包没有受到修改。不相同，证明数据包遭到修改，丢弃数据包并且将ipv6模态置信度置为10，ipv4模态置为5，继续选择IPv6 模态承载的数据包进行转发（要去掉封装的包头）。
    在这里插入图片描述

（2）实践要求

  • 上交S4与S1中的裁决P4代码。

Level 5 更多的模态

（1）实践内容

做到这一步的同学可以在已有的两个模态上进行进一步开发，没多一个模态需要在交换机S1与S4中嵌入更多的交换机，并且执行更加复杂的多模裁决，此时裁决算法请参考我们Level1中基于动态异构冗余机制的路由器拟态防御体系结构 去设计裁决算法（如何更好地判断数据包是否被更改的方法）来对这些不同模态的数据包进行裁决。

最低要求，加入一个源路由模态。
进阶内容加入更多的模态，得分更高。

（2）实践内容

上交多模态拓扑文件与对应的P4文件，并且给出一个中文的裁决方法的文档。并且设计前端，利用前端可以直接演示已完成的模态与裁决算法。
更多的模态拓扑

2. 实践过程与要求

  • 1）每实现一个level，提供要求中对应的截图或者是实现的代码。代码则需要提供源代码的Git链接（包括P4程序、控制面python程序、流规则、拓扑文件）和编译运行的结果。代码会查重，请大家每组完成自己的设计。
  • 2）每个成员的课程总结：
    • 查阅了哪些资料，在哪些平台学习了哪些相关知识；
    • 英文、文献资料调研、编码、网络基础等相关技能的综合掌握情况；
  • 3）团队成员的讨论照片，包括但不限于在线会议、在线群聊、线下讨论；
  • 4）综合实践组队（每队不超过5人）完成，组队完成必须按比例注明成员工作量（不注明就默认均分）。

3. 项目报告要求

  • 1）每组撰写一份综合实践报告，作业最开头标注所有成员的学号和姓名，同时标注完成的设计等级；
  • 2）关于提交：

    • 提交三个部分：1）文档，提交格式为pdf，采用Markdown撰写；2）源代码，整体打包；3）详细的背景介绍和项目演示视频

    • 命名方式：“组号+组长姓名+组长学号.zip”；

    • 提交方式：在截止时间之前提交，由组长上传1份压缩包文件。

4. 实验镜像

  • **P4 Tutorial Development 2024-03-01 **
链接：https://pan.baidu.com/s/1KB5BQvYQDq82dLhn7g2E0w 
提取码：bwae 
--来自百度网盘超级会员V6的分享
  • 更多版本
https://github.com/jafingerhut/p4-guide/blob/master/bin/README-install-troubleshooting.md
篱隙光远
关注
44、多模态话语树在健康管理与安全领域的应用
python9snake的博客
08-23 20
本文探讨了多模态话语树（MMDTs）在健康管理与安全领域的应用，包括法医语言学、疾病传播管理和犯罪调查。通过将话语分析从文本扩展到多模态数据，MMDTs为整合和分析复杂信息提供了统一的结构。文章介绍了MMDTs在不同场景中的实际应用，如合理怀疑的话语分析、疾病发展阶段判断以及犯罪过程还原，并讨论了该技术面临的挑战与未来发展方向。
AI导盲系统开发中的多模态数据融合策略
最新发布
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
07-07 828
想象一下，当我们闭上眼睛试图穿过繁忙的街道——脚边的台阶、迎面而来的自行车、突然打开的车门，这些在视觉正常者看来一目了然的危险，对视障人士而言却可能隐藏在每一步的未知中。世界卫生组织数据显示，全球有超过2.85亿视障人士，其中3900万完全失明。传统的导盲工具（导盲杖、导盲犬）虽能提供基本帮助，但存在感知范围有限、无法识别复杂场景等局限。AI导盲系统的出现，正是希望通过人工智能和传感器技术，为视障人士打造"第二双眼睛"。
【多模态】《Dual Attention Networks for Multimodal Reasoning and Matching》论文阅读笔记
qq_36643449的博客
05-24 921
一、概述 这篇文章做了两个任务：一个适用于需要多模态推理的任务，例如 VQA；另一个适用于需要多模态匹配的任务，例如Image-Text Matching。 这篇文章在【多模态】《Hierarchical Question-Image Co-Attention for Visual Question Answering》论文阅读笔记这篇文章需要对视觉和文本进行互相的co-attention建模的基础之上，提出多跳融合。尽管前者同时应用了视觉和文本注意，但它独立地执行共同注意的每个步骤，而无需对先前的共同注意
多模态神经网络：融合不同感知模式的学习
xiehewe的博客
10-13 1250
模态特征编码是将不同模态的感知信息转化为向量表示的过程，通常采用卷积神经网络（Convolutional Neural Network，CNN）、循环神经网络（Recurrent Neural Network，RNN）或变换器（Transformer）等模型进行编码。多模态神经网络是指将来自不同感知模态（如文本、图像、音频等）的信息进行整合，从而进行更加全面的学习和分析的神经网络模型。在实际应用中，多模态神经网络能够根据不同任务的需求，灵活地选择不同类型的感知信息，并进行有效的融合，从而取得了显著的进展。
综述 | 基于 Transformer 网络的多模态学习
我爱计算机视觉
05-22 803
关注公众号，发现CV技术之美Transformer 网络结构作为一种性能卓越的神经网络学习器，已经在各类机器学习问题中取得了巨大的成功。伴随着近年来多模态应用和多模态大数据的蓬勃发展，基于Transformer 网络的多模态学习已经成为了人工智能领域的前沿热点之一。今天为大家介绍一篇基于Transformer的多模态学习的综述论文“Multimodal Learning with Transfor...
多模态网络
顺其自然~专栏
09-14 1157
内容标识、身份标识、地理位置标识等多种标识体系得到了广泛的研究，并诞生了命名数据网络（NDN，nameddatanetworking）[4]、智慧标识网络（SINET，smartidentifiernetworking）[5]、GeoNetworking[6]等代表性的设计成果。传统的 TCP/IP 网络中，分布式的网络节点控制与转发相耦合，网络管理者能够管理的范围有限。多模态网络存在多种网络模态，每种网络模态均有独特的应用场景和运行机理，在赋予网络更加灵活智慧的功能的同时，也增加了网络管理的复杂度。
【多模态传感融合】基于ESP32的声光温振联合AI推理方案（6维数据融合的4步实现法）
多模态传感融合技术通过整合声学、光学、温度、振动等多种物理量的协同信息，显著提升了系统在不确定性环境中的判别能力。ESP32凭借其双核处理器、丰富的外设接口（如I2C、SPI、ADC、DAC）和内置Wi-Fi/Bluetooth双模...
AIGC领域多智能体系统：未来AI协作的终极形态
AI天才研究院
04-20 820
能力边界限制：单一模型难以同时精通文本生成、3D建模、音乐创作等多领域；动态适应性不足：复杂任务需根据中间结果调整策略（如用户反馈后重写剧本）；协作效率低下：人工协调多个独立模型成本高、误差累积风险大。本文聚焦AIGC与多智能体系统（MAS）的融合，覆盖技术原理（架构设计、协作机制）、数学模型（任务分解、冲突解决）、实战开发（代码实现、调优技巧）及未来趋势，为开发者提供从理论到实践的完整指南。核心概念：定义AIGC多智能体系统的独特属性；技术原理：解析架构设计、协作机制与关键算法；
一切皆是映射：深度学习与人类语言理解
AI天才研究院
07-12 874
在人工智能和计算机科学的发展历程中，人类语言的理解和处理一直是一个极具挑战性的领域。随着深度学习技术的兴起，我们在自然语言处理（NLP）方面取得了前所未有的进展。本文将深入探讨深度学习如何通过各种映射机制来理解和处理人类语言，以及这些技术如何改变了我们与机器交互的方式。深度学习之所以能在语言处理领域取得如此显著的成就，很大程度上归功于其强大的映射能力。从最基本的词向量映射到复杂的语义结构映射，再到跨语言、跨模态的映射，深度学习模型展现出了惊人的灵活性和适应性。
多模态(RGB-D)——深度融合网络
小花生的博客
10-04 1万+
《Deeply-Fused Nets》 2016，Jingdong Wang et al. 深度融合网络 1.引言： 中心思想是深度融合,就是结合几个基网络(base networks)的中间表达(intermedia representations)作为每个基网络剩下的部分的输入,然后在几个中间表达上用了深度的结合.这个深度融合网络有几个优势: （1）.它可以学到多尺度(multi-scal...
多模态神经网络
weixin_44179561的博客
05-30 2859
嗅觉神经网络 六个传感器组成的传感器阵列，每组数据如下： 其应是一个（6,40）的矩阵，行表示传感器，列表示时间，内部元素是每个传感器在每一秒处的响应值。 对20种实验物质进行采集，每种物质采集10组数据，共200组数据。其中，每组数据为明确属于不同传感器的响应，制成六通道的数据形式。最终训练集为（200，6，1，40）的四维矩阵。而标签集为（200,20）的矩阵，列索引对应物质种类，200行为200组数据的标签，是one-hot型的矩阵，i行j列为1表示第i组数据是物质j。将训练集和标签集导入自编码器中
多模态网络架构：探索与创新的新方向
AI天才研究院
01-08 2081
1.背景介绍 多模态网络架构是一种新兴的人工智能技术，它旨在解决传统单模态系统无法处理的复杂问题。传统单模态系统通常只能处理一种类型的数据，如图像、文本或语音。而多模态系统则可以同时处理多种类型的数据，从而更好地理解和解决问题。 在过去的几年里，多模态网络架构已经取得了显著的进展。例如，在自然语言处理领域，BERT和GPT等模型已经成功地将文本和图像结合起来，以提高文本理解的能力。在计算机视觉...
【MultiNet】用于自动驾驶的多模态多任务学习网络
不积跬步，无以至千里！
06-27 3826
本文发表于2019年的IEEE计算机视觉应用冬季会议上，是一篇有关自动驾驶领域多模态多任务网络应用的文章。
TMSS: 一个端对端的用于分割以及生存预测的基于transformer的多模态网络
Scabbards_的博客
04-11 2390
TMSS 结合CT、PET扫描及患者EHR(electronic health record），预测肿瘤的分割mask及患者的生存风险评分。标准卷积神经网络主要关注成像模态，不能使用其他输入特征。为了解决这个问题，作者提出了一个基于Transformer的编码器，它能够处理可用的多模态输入数据以及它们之间的交互。
多模态学习:网络框架
qq_42018838的博客
05-18 2457
网络一：MultiNet++ 论文链接：https://arxiv.org/abs/1909.03850 代码链接：https://github.com/ZwwWayne/mmMOT. 2019ICCV会议文章：《Robust Multi-Modality Multi-Object Tracking》（具有鲁棒性的多模态多目标跟踪） 面向领域：自动驾驶中的各种视觉感知任务 摘要：多传感器感...
多模态超连接功能网络--文章简单解读
baidu_37122643的博客
05-06 1011
多模态超连接功能网络–文章简单解读 Multimodal hyper-connectivity of functional networks using functionally-weighted LASSO for MCI classification Li Yang et.al 文章链接: https://doi.org/10.1016/j.media.2018.11.006. 创新：提出基于...
【神经网络必备知识汇总】：多模态深度学习、multi-channel详解及 项目实例
深耕嵌入式领用多年， 致力于分享嵌入式领域技术!
04-15 3404
【神经网络必备知识汇总】：多模态深度学习、multi-channel详解及 项目实例
多模态简介
热门推荐
chumingqian的博客
06-19 2万+
多模式深度学习是一个子领域，旨在训练人工智能模型来处理和发现不同类型数据（模式）之间的关系——通常是图像、视频、音频和文本。通过结合不同的模态，深度学习模型可以更普遍地理解其环境，因为某些线索仅存在于某些模态中。想象一下情绪识别的任务。它不仅仅是看一张人脸（视觉模态）。一个人的声音（音频模态）的音调和音高编码了大量关于他们情绪状态的信息，这些信息可能无法通过他们的面部表情看到，即使他们经常是同步的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值