SECURE TRANSFORMER INFERENCE

已于 2024-04-01 10:38:57 修改
阅读量333 收藏 9
点赞数 5
文章标签： transformer 深度学习 人工智能 网络安全 安全架构 密码学 网络攻击模型
于 2024-03-20 14:47:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52780987/article/details/136874263
版权

目录

概述

本文提出了一个三方协议，可以在推理阶段同时保护Transformer参数和用户数据。对于每个前馈推理过程，本文的协议只在用户端引入输入和输出数据的排列计算。我们的协议，安全transformer推理协议(STIP)，可以应用于像ChatGPT这样的现实世界的服务。

STIP

在这里插入图片描述
定理 1： f θ ‘ ( π x ) = f θ ( x ) π f_{\theta^`}(\pi x)=f_{\theta}(x)\pi fθ‘​(πx)=fθ​(x)π

  • P1模型提供商
  • P2云计算平台
  • P3用户拥有私有数据和输出

在这里插入图片描述
之前有采用标量进行类似的操作。但本文通过乘上一个置换矩阵并通过证明实现了结合性。

小ku比了
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Transformer
06-05
Transformer
Transformer模型应用领域
08-24
Transformer 模型应用领域 Transformer 模型是一种基于注意力机制的神经网络架构，最初被提出用于自然语言处理任务中的序列到序列学习。随着时间的推移，Transformer 模型被应用于各种不同的领域，例如自然语言处理...
East: Efficient and Accurate Secure Transformer Framework for Inference
m0_52780987的博客
03-27 481
本文提出了一个高效并且准确的安全Transformer推理框架East。作者将该框架应用到BERT上面其推理精度与明文推理保持一致。
(上大)组会报告题目汇总(持续更新~)
qq_33509110的博客
07-05 4599
(上大)组会报告题目汇总(持续更新~) 2021.7.1 VERIFL: Communication-Efficient and Fast Verifiable Aggregation for Federated Learning(TIFS) 2021.6.24 Scalable and redactable blockchain with update and anonymity(InfoS) 2021.6.17 Decentralized Privacy-Preserving Fair Exchange
Astronomers Develop a New Model for Cataloging the Univers secure web based scada e
iam1515的博客
02-12 358
www.inhandnetworks.com A DeCAM/DeCALs image of galaxies observed by the Blanco Telescope. The Legacy Survey is producing an inference model catalog of the sky from a set of optical and infrared imagin...
qdrant
编码时光
03-30 775
一、关于 qdrant Features Filtering and Payload Hybrid Search with Sparse Vectors Vector Quantization and On-Disk Storage Distributed Deployment Highlighted Features Integrations 二、快速上手 1、下载和运行 安装 qdrant-client docker 2、初始化 client 3、创建 collection 4、添加向量 5、运行 qu
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
CSWin Transformer
08-20
Transformer设计中一个具有挑战性的问题是，全局自注意力的计算成本非常高，而局部自注意力通常会限制每个词向量的交互域。为了解决这个问题，作者提出了CSWin Transformer。CSWin Transformer 在常见的视觉任务上...
swin transformer权重
08-11
"Swin Transformer权重"是指用于初始化或更新Swin Transformer模型参数的数值集合，这些权重通常由预训练模型提供，以便用户可以在自己的任务上快速获得良好性能。 Swin Transformer的核心思想是引入了类似于卷积...
【深度学习】大模型GLM-4-9B Chat ，微调与部署(3) TensorRT-LLM、TensorRT量化加速、Triton部署
q742971636的博客
07-25 902
TensorRT-LLM官方目前说在v0.12.0版本才会支持GLM-4-9B Chat ，下面以v0.10.0的魔改来做GLM-4-9B Chat的量化部署。本文目标就是加速GLM-4-9B Chat，看看能多快。A100卡。
深度学习基础
写代码的小阿帆的博客
07-25 429
本章学习了深度学习的两大分支，神经网络和决策树，神经网络依靠其隐藏层对数据进行特征提取和变换处理，最后在输出层输出结果，根据对输出要求的不同可以使用不同的激活函数，作为普通开发者我们应该更关注的是神经网络的优化方向，增加学习数据，调整正则化参数，以及交叉验证方法和迁移学习；决策树对人来说更容易理解，使用类似二叉树的数据结构进行分类判断，为了减少异常数据对树的影响，我们使用多个决策树票选结果，为了减少特征对树的影响，我们又引入了随机森林，最后介绍了目前效果很好的决策树方案——XGBOOST。
【深度学习】PyTorch框架(5)：Transformer和多注意力机制
MUKAMO的博客
07-18 893
本文深入探讨了多头注意力层，它通过缩放点积找到输入间相关性，是Transformer架构核心。Transformer广泛应用于多领域，不仅限于NLP。其置换等变性质拓展了应用场景。然而，理解其潜在问题如学习率预热解决初期梯度问题同样关键。对Transformer架构研究感兴趣的读者，建议查阅文中提及的博客以深入了解。Transformer作为强大架构，其探索与应用前景广阔。
计算机毕业设计python+neo4j知识图谱中医问答系统 中医中药方剂大数据可视化 vue.js 前后端分离 大数据毕业设计 机器学习 深度学习 人工智能
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
07-22 878
计算机毕业设计python+neo4j知识图谱中医问答系统 中医中药方剂大数据可视化 vue.js 前后端分离 大数据毕业设计 机器学习 深度学习 人工智能
昇思25天学习打卡营第21天|RNN实现情感分类
人工智能视觉分析算法学习实践和经验分享。
07-21 657
Mindspore框架循环神经网络RNN模型实现情感分类|（一）数据集准备Mindspore框架循环神经网络RNN模型实现情感分类|（二）RNN模型Mindspore框架循环神经网络RNN模型实现情感分类|（三）模型训练与推理tips:安装依赖库。
基于深度学习的化学分子属性预测
weixin_42605076的博客
07-25 758
基于深度学习的化学分子属性预测是利用深度学习技术来预测化学分子的物理、化学和生物学属性。这些属性可以包括分子的溶解度、毒性、生物活性、稳定性等。该领域在药物发现、材料科学、环境科学等方面有广泛应用。
循环神经网络
qq_58317297的博客
07-25 157
（2）当前的输出是为了预测当前的观察，没有对x建模，因为x的信息都存在h里面。（3）W_hh将对应的隐藏信息转化为真实信息， W_hh是将时序信息存放。1、对隐状态使用循环计算的神经网络称为循环神经网络（RNN）。2、循环神经网络的隐状态可以捕获直到当前时间步序列的历史信息。3、循环神经网络模型的参数数量不会随着时间步的增加而增加。5、应用：文本生成、文本分类、问答、机器翻译、Tag生成。1、潜变量自回归模型，使用潜变量ht总结过去信息。4、我们可以使用循环神经网络创建字符级语言模型。
基于深度学习的社交网络分析
weixin_42605076的博客
07-25 638
基于深度学习的社交网络分析（Social Network Analysis, SNA）是利用深度学习技术对社交网络中的结构、模式和用户行为进行分析和理解。这一领域广泛应用于用户推荐、情感分析、社区检测、信息传播和隐私保护等方面。
构建智能化玉米病虫害检测系统：深度学习与实时UI集成详解
最新发布
a871923942的博客
07-25 791
环境搭建数据收集与处理模型训练系统实现用户界面设计。
swin transformer inference
05-24
Swin Transformer is a recent deep learning architecture that has shown impressive results in various computer vision tasks such as object detection and image classification. To perform inference using a pre-trained Swin Transformer model, you can follow these steps: 1. Load the pre-trained Swin Transformer model and set it to evaluation mode. 2. Prepare your input data (e.g., an image) and preprocess it according to the requirements of the model (e.g., resizing and normalization). 3. Pass the preprocessed input data through the model and obtain the output (e.g., predicted class probabilities or bounding boxes). 4. Postprocess the output as necessary (e.g., applying non-maximum suppression to remove redundant bounding boxes). Here is some example code: ``` import torch import torchvision.transforms as T from swin_transformer import SwinTransformer # Load the pre-trained Swin Transformer model model = SwinTransformer() # Set the model to evaluation mode model.eval() # Prepare the input data image = ... # Load an image using PIL or OpenCV transform = T.Compose([ T.Resize((224, 224)), # Resize the image to the required size T.ToTensor(), # Convert the image to a PyTorch tensor T.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) # Normalize the image ]) input_data = transform(image) # Pass the input data through the model with torch.no_grad(): output = model(input_data.unsqueeze(0)) # Add a batch dimension # Postprocess the output # ... ``` Note that the exact details of the input data preparation and output postprocessing will depend on the specific task and model architecture.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值