聚焦大模型！隐语技术团队研究成果被 ICASSP 与 ICLR 两大顶会收录

最新推荐文章于 2024-11-02 15:22:06 发布

2401_84239625

最新推荐文章于 2024-11-02 15:22:06 发布

阅读量378

点赞数 3

分类专栏：程序员文章标签：网络安全学习面试

本文链接：https://blog.csdn.net/2401_84239625/article/details/138896339

版权

程序员专栏收录该内容

222 篇文章 3 订阅

订阅专栏

本人从事网路安全工作12年，曾在2个大厂工作过，安全服务、售后服务、售前、攻防比赛、安全讲师、销售经理等职位都做过，对这个行业了解比较全面。

最近遍览了各种网络安全类的文章，内容参差不齐，其中不伐有大佬倾力教学，也有各种不良机构浑水摸鱼，在收到几条私信，发现大家对一套完整的系统的网络安全从学习路线到学习资料，甚至是工具有着不小的需求。

最后，我将这部分内容融会贯通成了一套282G的网络安全资料包，所有类目条理清晰，知识点层层递进，需要的小伙伴可以点击下方小卡片领取哦！下面就开始进入正题，如何从一个萌新一步一步进入网络安全行业。

学习路线图

其中最为瞩目也是最为基础的就是网络安全学习路线图，这里我给大家分享一份打磨了3个月，已经更新到4.0版本的网络安全学习路线图。

相比起繁琐的文字，还是生动的视频教程更加适合零基础的同学们学习，这里也是整理了一份与上述学习路线一一对应的网络安全视频教程。

网络安全工具箱

当然，当你入门之后，仅仅是视频教程已经不能满足你的需求了，你肯定需要学习各种工具的使用以及大量的实战项目，这里也分享一份我自己整理的网络安全入门工具以及使用教程和实战。

项目实战

最后就是项目实战，这里带来的是SRC资料&HW资料，毕竟实战是检验真理的唯一标准嘛~

面试题

归根结底，我们的最终目的都是为了就业，所以这份结合了多位朋友的亲身经验打磨的面试题合集你绝对不能错过！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以点击这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

2024 IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2024)将于2024年4月14日在韩国首尔召开。本次共投稿 5796 篇论文，接收率为 45%。蚂蚁集团隐私计算部隐语团队关于安全高效的大模型联邦(分布式)训练架构的论文被接收。

关键词：Federated LLM, Security, TEE, Lightweight encryption

论文摘要
大模型对不同任务具有强大的理解和解释能力，对于数据也拥有很强的记忆和处理能力。这也标志着无论是数据还是模型本身的参数都是大模型拥有者的重要财产，即其既不想模型参数泄漏也不想数据泄漏。分布式（联邦）大语言模型（LLM）是使用分散数据共同训练特定领域大语言模型的重要方法。然而，恶意窃取服务器或客户端的模型参数和数据已经成为亟待解决的紧迫问题，所以需要一个新颖的分布式大模型训练框架，使得任何一方都无法窃取各个客户端的数据，以及无法拿到微调的参数。
为了解决上述问题，在本文中，我们提出了一种基于模型切片的安全分布式大型语言模型。在这种情况下，我们在客户端和服务器端都部署了可信执行环境（TEE），并将微调结构（LoRA或P-tuning v2）放入TEE中。然后，通过轻量级加密 (One Time Pad) 在TEE和常规环境 (GPU) 中执行安全通信。
为了进一步降低设备成本以及提高模型性能和准确性，我们提出了一种分割微调方案。具体而言，我们按层切分大语言模型，并将后续层放置在服务器端的 TEE 中（客户端不需要 TEE）。然后，我们提出了稀疏参数微调（SPF）与 LoRA 部分结合起来，以提高下游任务的准确性。大量实验表明，我们的方法在保证安全性的同时也保证了准确性。

论文链接：https://arxiv.org/abs/2401.09796

02

论文标题：《Enhanced Face Recognition using Intra-class Incoherence Constraint》（利用类内不一致性约束增强的人脸识别技术）

论文作者：黄源清（蚂蚁集团），王莹桂（蚂蚁集团），杨乐(坎特伯雷大学)，王磊（蚂蚁集团）

收录顶会–ICLR
国际表征学习大会“ICLR”（International Conference on Learning Representations）是机器学习领域的顶级学术会议之一。ICLR 2024 将于5月7日至5月11日在奥地利维也纳召开。本次会议共收到7262篇投稿，总体接受率约为 31%。蚂蚁集团隐私计算部隐语团队关于通过增强表征学习能力提升人脸识别精度的论文被接受为 spotlight（被接收为 spotlight 的论文占5%）。

关键词：Representation learning， Face recognition, Intra-class Incoherence

论文摘要
当前的人脸识别（FR）算法已经达到了高度精确的水准，因此要实现进一步的提升变得越来越具有挑战性。尽管现有的FR算法主要集中在优化边界和损失函数上，但对特征表征空间的探索却受到了有限的关注。因此，本文旨在从特征表征空间的角度来提高人脸识别的性能。首先，我们考虑了两个表现出明显性能差异的人脸识别模型，其中一个模型相比另一个展现出了更高的识别准确率。我们在优势模型的特征上沿着劣势模型的特征作正交分解，获得了两个子特征。令人惊讶的是，我们发现垂直于劣势模型的子特征仍然具有一定程度的识别能力。我们调整了子特征的模，并通过向量加法重新组合它们。实验表明，这种重新组合很可能有助于提升面部特征表示，甚至优于原始优势模型的特征。
受到这一发现的启发，我们进一步考虑了在只有一个人脸识别模型可用的情况下如何提高识别精度。我们受到知识蒸馏的启发，引入了类内不一致性约束（IIC）来解决这个问题。在多个人脸识别基准的测试结果表明，通过引入 IIC，现有的最先进的人脸识别方法可以得到进一步改进。
此外，我们还正在大模型蒸馏上进行相关探索。我们发现引入 IIC 对 Bert（transformer模型）进行蒸馏同样能够提升模型精度。我们在 ICLR 2023 的spotlight工作mpcformer上，在训练阶段加入我们提出的 IIC，发现最后得到的模型精度表现要优于原论文中的模型。后续我们将持续研究 IIC 对其他的大语言模型蒸馏性能的影响。