论文阅读：BFLS：一个区块链+联邦学习的CTI共享模型

论文阅读：BFLS：一个区块链+联邦学习的CTI共享模型

• 论文标题：BFLS: Blockchain and Federated Learning for sharing threat detection models as Cyber Threat Intelligence
• 期刊：Computer Networks(CCF B)(SCI 2区)(中科院 3区)
• 发表时间：2023
• 发表单位：
  • 贵州大学计算机科学与技术学院公共大数据国家重点实验室
  • 华南师范大学电子与信息工程学院
• 代码：无，区块链部分是使用fisco-bcos搭建的
• 解决问题：提出了一种基于联邦学习和区块链的CTI（网络威胁情报）共享方法。
• 贡献（创新点）：
  • 提出了一种基于联邦学习和区块链的CTI共享方法，FL用于训练威胁检测模型，区块链用于以去中心化的方式聚合和共享模型。
  • 改进了区块链的共识协议，通过验证和选择优质的CTI参与联邦学习，通过智能合约自动聚合和更新模型
  • 在数据集ISCX-IDS-2012和CIC-DDoS-2019进行了实验并取得不错的结果
• 相关文章：
  • H. Kim, J. Park, M. Bennis, S.L. Kim, Blockchained on-device federated learning,IEEE Commun. Lett. 24 (6) (2020) 1279–1283（有大量数学、公式化的表示）

总结

Introduction & Related work

这篇论文核心也是联邦学习与区块链技术的结合，应用场景放在了CTI共享中。文章将深度学习的恶意流量检测模型的参数视为CTI，使用联邦学习进行共享，从情报共享的角度来进行文章的书写。那么在introduction与related work中就可以对CTI领域的研究进行概括总结，介绍自己的工作并进行对比，突出自己工作的创新与优点，并且形成一个表格进行清晰地对比。

（从中我们可以学习到，我们如果做类似的工作可以放在其他的场景中，比如车联网CTI共享、IoT中的CTI共享等等。然后将相关文献与自己的工作进行对比，形成一个清晰的表格）

系统框架

用户层

这篇文章提出的框架也是比较经典的FL+BC的框架，分为了两层，用户层和区块链层。

首先看下面的用户层，所有注册到区块链的组织被初始化为训练者和验证者，训练者是根据本地数据训练模型即CTI，验证者根据本地数据来验证更新的CTI。

注意！本文中的CTI只有经过验证者验证后才能上链，也就是说这样可以筛选掉一些不合格的CTI，提高CTI质量，这也是一个很常用的方法来防止恶意节点的攻击。

区块链层

区块链层主要解决的问题之一就是怎么选出验证者，也叫做CTI验证委员会，本文提出的方法是：根据上一轮训练者的结果，进行一个评分，评分高的训练者在下一轮被选为验证者，这也意味着验证者在下一轮一定不会继续被选为验证者（因为没有训练，所以没有分数）。我认为这样是合理的，可以保证验证者是动态变化的，不易存在独裁的情况。

系统运行流程

初始化

初始化区块链上全局模型的网络结构，并初始化训练者和验证者、模型的初始权重与参与的节点身份都是随机的。

生成CTI

训练者从区块链下载全局模型，用本地的数据进行训练，训练的结构发送给验证者进行验证

验证CTI

验证者使用自己的测试集对共享的CTI进行验证，然后将结果上传到区块链

聚合CTI

智能合约执行聚合的过程，首先将验证者传进来的CTI根据分数排序，聚合前a%的CTI。

重新选择聚合委员会

根据每轮聚合结束选择得分最高的训练者参加下一轮验证。

实验

• 参数：设置了三个参数：k,m,a，所有节点中k%的训练者进行训练，所有节点中m%的节点作为验证者，训练好的CTI中分数最高的前a%个CTI进行聚合。
• 数据集：
  • CIC-DDoS-2019：包括13种不同类型的DDoS攻击和良性流量，本文选取了NetBIOS、LDAP、SYN和PortMap四种类型的攻击流量和良性流量进行分类实验。实验的数据集总共有38242条数据，其中4700条良性数据，并取了75%作训练集，25%作测试集。这个数据集包含除IP和端口信息外的80个特征。
  • ISCX-IDS-2012：这个数据集共2450324条数据，也分为75%的训练集和25%的测试集，该数据集有25个特征。
• 评估指标：准确率、精确率、召回率与F1分数

• 实验结果：

  • 不同节点总数的影响

    

    结果说明系统的性能随节点增加变化不大，20个节点时效果最好。

  • 不同验证节点数量的影响

    

    根据上个实验结果，固定节点总数为20，测试了验证者个数为2、4和6时的准确率、精确率以及F1分数，最好的是4个时，也就是m%=20%。

  • 不同训练节点数量的影响

    

    全局模型的准确率随着训练节点的数量增加而增加，k%越大越好。下面实验都去k%=60%

  • 不同聚合CTI数的影响

    

    综合上面的结果，现在参数设置为总共20个节点，4个验证者，12个训练者。图6是从训练者中分别聚合4、6和8个CTI的结果。可以看出，随着聚合的CTI增多准确率反而下降。

  • 不同方法之间的比较

    

    本文还比较了传统CNN、基于联邦的CNN以及使用联邦和区块链的CNN在两个数据集上的表现如表3。（我对这个结果有一点怀疑的，因为联邦学习实际上是通过放弃一部分准确率来提高安全性，所以正常来说没有直接用所有数据集训练出来的模型效果好，我自己跑的结果也都是联邦学习的准确率会差很多。但是也有可能是因为共识机制中质量较低的节点不参加聚合，具体需要自己复现一下）

  • 不同模型在CIC-DDoS-2019数据集的表现

  

不足

1. 文中出现的数学符号可以用一个表来表示，便于读者理解。

• 不同模型在CIC-DDoS-2019数据集的表现