【笔记】让你从白盒的角度了解Transformer Encoder的运作机制

最新推荐文章于 2024-11-02 15:22:06 发布
最新推荐文章于 2024-11-02 15:22:06 发布
阅读量400 收藏
点赞数 10
文章标签： 笔记 transformer 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsbss/article/details/139769681
版权
Jay_27
关注
16、White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
小白的博客
12-30 1249
提出了一种新的白盒变压器架构，名为，通过操作来实现数据的表示学习。这种架构的设计使得内部表示更易解释，相比于黑盒变压器，CRATE的内部表示具有更清晰和易提取的语义含义。通过最大化 coding rate reduction——∆R(z)，可以促使特征zi​被紧凑地编码为低维高斯分布的混合物，其中不同的高斯分布在统计上是不相关的。还探讨了之间的联系，指出去噪等价于学习数据分布的表示。因此提出了一种结构化的去噪-扩散理论，以此来构建一致的编码器-解码器对 f, g。
【深度学习|基础算法】快速入门Transformer教程（小白友好向）
对各类技术都感兴趣的图像算法工程师一枚，目前从事医疗影像分析行业~
04-07 1134
关于transformer的学习
《异常检测——从经典算法到深度学习》9 异常检测资料汇总（持续更新&抛砖引玉）
Smileyan's blog
03-07 1万+
考虑到异常检测任务的繁琐，这里特地列举一些可能大家用的到的论文和资料，如果有补充请务必在后面留言。 1. 论文 论文是重中之重，请务必重视论文阅读。
《异常检测——从经典算法到深度学习》6 基于重构概率的 VAE 异常检测
热门推荐
Smileyan's blog
10-24 1万+
目录 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测算法 5 Opprentice——异常检测经典算法最终篇 6 基于 VAE 的异常检测算法 6. 基于 VAE 的异常检测算法 论文名称：Variational Autoencoder based Anomaly Detection using Reconstruction Probability 发表时间：2015.12 立即下载 论文总体
《异常检测——从经典算法到深度学习》8 Donut: 基于 VAE 的 Web 应用周期性 KPI 无监督异常检测
Smileyan's blog
01-10 1万+
《异常检测——从经典算法到深度学习》 0 概论 1 基于隔离森林的异常检测算法 2 基于LOF的异常检测算法 3 基于One-Class SVM的异常检测算法 4 基于高斯概率密度异常检测算法 5 Opprentice——异常检测经典算法最终篇 6 基于重构概率的 VAE 异常检测 7 基于条件VAE异常检测 8 （实验一）基于重构概率的 VAE 异常检测 8. （实验一）基于重构概率的 VAE 异常检测 8.1 实验概述 8.1.1 实验目的 通过本次实验实现论文 《Variational Auto
（2018-2021年）Uncertainty 相关SOTA文献笔记整理
程序员阿浪
09-04 2510
Uncertainty 文献笔记 一边读论文，一边思考最近大家在这块都研究哪些内容，然后考虑哪些点还有进一步研究的价值. ACL Word-Level Uncertainty Estimation for Black-Box Text Classifiers using RNNs 摘要： 估计神经网络预测的不确定性为更可靠和可信的文本分类铺平了道路。然而，常见的不确定性估计方法仍然是黑盒，没有解释哪些特性导致了预测的不确定性。这阻碍了用户理解不可靠模型行为的原因。本文提出了一种文本分类器不确定性在wor
《TEXTBUGGER: Generating Adversarial Text Against Real-world Applications》论文笔记
weixin_43646592的博客
11-07 2598
论文来源：NDSS-2019 主要内容： 近年来，基于深度学习的文本理解（DLTU）技术已经被应用到了很多场景，如机器翻译、问答系统、文本分类等。尽管这些DLTU技术的应用场景很广，效果很好，但是它背后的安全性却是未知的。且这类技术越来越多地应用到一些security-sensitive的场景，如情感分析，有害内容检测等，这是令人担忧的一件事。 论文提出了一个用于生成对抗文本的通用对抗框架（TEXTBUGGER），实验验证了DLTU易于受到对抗文本攻击而预测错误的结果。相比之前的工作，TEXTBUGGER的
深度学习各子领域略览及术语列表
诸神缄默不语的博客
01-05 2308
深度学习各子领域略览及术语列表
【论文阅读】TAAD2.2系列之31-40
weixin_45426939的博客
04-18 999
神经机器翻译(Neural machine translation, NMT)容易受到输入噪声干扰的影响。我们提出了一种提高NMT模型鲁棒性的方法，该方法由两部分组成:(1)使用对抗性源样本攻击翻译模型;(2)使用对抗性目标输入来保护翻译模型，以提高其对对抗性源输入的鲁棒性。对于生成对抗性输入，我们提出了一种基于梯度的方法AdvGen（白盒），根据干净输入上的翻译损失来生成对抗样本。在汉英和英德。
一篇图文带你了解白盒测试用例设计方法
01-27
白盒测试，又称结构测试或逻辑驱动测试，是一种软件测试方法，它主要关注程序的内部逻辑结构和工作原理，而非其功能表现。测试者需要具备编程知识，以便深入理解代码来设计测试用例。白盒测试的目标是确保程序的每个...
从黑盒到白盒：软件测试的核心技术详解
01-07
本文将详细讲解黑盒测试和白盒测试这两种主要的测试方法，帮助你深入理解它们的核心技术，并提供实用的测试策略。 ### 黑盒测试 黑盒测试是一种基于软件功能的测试方法，它不关注程序内部结构，而是专注于软件的...
白盒测试流程图1
08-08
该流程图展示了白盒测试的整个流程，从开始表达式为空到输出结果结束。 开始表达式为空：白盒测试的第一步是检查开始表达式为空，这意味着软件的输入条件为空或无效。在这个阶段，测试人员需要检查软件的初始化过程...
【软件测试学习笔记】白盒测试
weixin_45852958的博客
12-29 7890
文章目录一、白盒测试概述二、分类1.静态测试2.动态测试三、白盒测试原则四、白盒测试类别五、不同阶段不同侧重点1.单元测试2.集成测试3.系统测试4.验收测试六、测试覆盖率1.功能点覆盖2.结构覆盖率七、逻辑覆盖八、白盒测试优缺点白盒测试案例 一、白盒测试概述 白盒测试的对象主要是源代码，用代码内部的分支、路径、条件。使程序设计的控制结构导出测试用例。 二、分类 1.静态测试 不在计算机上实际执行所测程序，使用人工模拟技术对软件进行分析和测试 2.动态测试 需要执行代码，通过运行程序找到问题 三、白盒测
嵌入式通信协议：UART简明学习笔记
weixin_73867577的博客
10-31 755
学习UART串口的简明学习笔记
[自用，更新自day5]瑞吉外卖代码及笔记
lapiii的博客
11-01 817
当使用ThreadLocal维护变量时，ThreadLocal为每个使用该变量的线程提供独立的变量副本，所以每一个线程都可以独立地改变自己的副本，而不会影响其它线程所对应的副本。Mybatis Plus公共字段自动填充，也就是在插入或者更新的时候为指定字段赋予指定的值，使用它的好处就是可以统一对这些字段进行处理，避免了重复代码。因为在分页查询的Dish的records(菜品记录中)，只有这个菜品所属的categoryId，但是我们需要分页的时候展示的是菜品名字。
嵌入式通信协议：MODBUS简明学习笔记
最新发布
weixin_73867577的博客
11-02 218
学习Modbus的简明学习笔记
【Kotlin】 基础语法笔记
xuanyulevel6的博客
10-31 833
kotlin基础语法学习笔记
spring6 笔记(3 万字详解)
2301_79083000的博客
10-29 1276
尚硅谷spring笔记带你一套掌握spring
网络编程笔记----OSI七层模型及其作用
m0_63903713的博客
11-02 119
OSI七层模型是计算机网络领域的一个标准模型，用于理解网络通信的过程。它将网络功能分为七个不同的层次，每一层都有其特定的功能和作用。每一层都依赖于其下层，同时为其上层提供服务，形成一个相互独立又紧密联系的网络通信体系。这个模型帮助我们理解和设计复杂的网络架构。
探索白盒测试：从逻辑覆盖到路径覆盖详解
白盒测试是一种软件测试方法，它着重于程序内部的逻辑结构，而非仅依赖于输入数据或外部行为。本文将详细介绍白盒测试的特点以及常用的设计方法，包括逻辑覆盖、语句覆盖、判定覆盖、条件覆盖、判定条件覆盖、条件...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值