1401 位置编码公式详细理解补充

最新推荐文章于 2024-07-30 09:45:58 发布
最新推荐文章于 2024-07-30 09:45:58 发布
阅读量244 收藏
点赞数
分类专栏： 数字孪生 管理体系 大语言模型 文章标签： transformer 深度学习 人工智能
沧海之巅
本文链接：https://blog.csdn.net/linjie_830914/article/details/134047291
版权
了解本专栏 订阅专栏 解锁全文 超级会员免费看
沧海之巅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
白话transformer（五）：位置编码
Andy_shenzl的博客
03-21 1275
在前面其实讲过，这次我们具体看看他的数学原理白话transformer（五）
Transformer升级之路：二维位置的旋转式位置编码
Paper weekly
08-10 3748
©PaperWeekly 原创 ·作者|苏剑林单位|追一科技研究方向|NLP、神经网络在之前的文章 Transformer 升级之路：博采众长的旋转式位置编码中我们提出了旋转...
一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
结构之法 算法之道
10-27 2万+
关于位置编码和RoPE为彻底解决这个位置编码/RoPE的问题，我把另外两篇文章中关于这部分的内容抽取出来，并不断深入、扩展、深入，最终成为本文。
深入理解transformer中的位置编码
qq_43391414的博客
10-31 1万+
啊打发
相对位置编码 relative position encoding
qq_43733107的博客
09-27 5341
相对位置编码
Transformer中的位置编码详解
qq_60245590的博客
04-19 1312
位置编码概述 位置编码的目的是为了补充序列的位置信息，这是因为自注意力机制本身不包含位置的概念（例如顺序信息）。位置编码的具体作用是，对于不同的输入序列成分，赋予其不同的位置标识，确保序列信息在不同的上下文中仍然，即使是相同的文本序列也因位置不同而有不同的含义。Transformers 使用的位置编码方法，其中每个位置/词素都被分配一个编号。到此，位置编码的输出是一个矩阵，其中每行的每一行代表序列中的一个特定词素与其位置信息相结合。下图演示了一个较小的位置编码矩阵示例的构成方式。位置编码矩阵。
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
qq_38253797的博客
10-26 2万+
transformer原理
LDPC译码原理（公式推导）及其matlab代码实现（超详细）
热门推荐
你看不到我在伤心的博客
04-20 4万+
低密度奇偶校验码（Low-Density Parity-Check Codes）凭借其逼近Shannon限的纠错性能，受到了信道编译码学者的广泛关注，已成为DVB-S2、IEEE802.16e、CCSDS、5G等无线通信标准首选的信道编码方案。2001年，S.Chung等人的研究结果表明，码率1/2、码长10^7的非规则LDPC码在AWGN信道下采用置信传播算法进行迭代译码，当错误概率为10 ^-6时，距离Shnnon限仅相差0.0045dB。 .........
自然语言处理基础知识入门(四) Transformer模型的positional encoding位置编码详解
weixin_47332746的博客
05-05 1531
提示：本章节旨在补充和扩展自然语言处理基础知识入门(四)中关于Transformer模型的位置编码（positional encoding）的讨论，提供更深入的解析以助于对该概念的整体理解。参考了这两篇博文Vaswani等人推出了Transformer架构，这是一款创新的、基于纯注意力机制的序列到序列架构。其出色的并行训练能力与性能提升，使其迅速在自然语言处理（NLP）领域以及最新的计算机视觉（CV）研究中获得了广泛的认可和应用。
【初理解】Transformer中的Positional Encoding
顾道长生的科研笔记
10-31 1757
文章目录泰勒展开浅显解读 首先，给出文章中的公式解读： {pk,2i=sin⁡(k/100002i/d)pk,2i+1=cos⁡(k/100002i/d) \left\{\begin{array}{l} \boldsymbol{p}_{k, 2 i}=\sin \left(k / 10000^{2 i / d}\right) \\ \boldsymbol{p}_{k, 2 i+1}=\cos \left(k / 10000^{2 i / d}\right) \end{array}\right. {pk.
肽计算公式推导与应用1.0.11
08-04
肽计算公式推导与应用1.0.11是一篇探讨生物计算和编码理论的科研论文，主要由罗瑶光先生提出。该研究基于类人DNA与神经元的催化算子映射编码方式，深入到生命的分子层面，涉及到染色体、生命词根库、肽虚拟机器、磁...
JPEG.rar_dos jpeg_jpeg压缩实现_jpeg压缩算法_jpeg压缩编码_jpeg编码
09-22
在“JPEG.rar_dos jpeg_jpeg压缩实现_jpeg压缩算法_jpeg压缩编码_jpeg编码”这个压缩包中，包含了对JPEG编码算法及其实现的详细描述。 JPEG压缩的核心是基于离散余弦变换（Discrete Cosine Transform, DCT）的过程...
信息论与编码考试题型借鉴.pdf
12-04
3. **连续信道**：理解连续信道容量公式的适用条件及解题方法。 **第四章：信息率失真函数** 1. **失真函数**：研究在允许一定失真条件下，信息传输的最大速率。 2. **R(D)计算**：根据失真函数和信源分布计算信息...
用EXCEL进行8位16位循环冗余校验CRC编码.zip
06-20
在提供的"用EXCEL进行8位16位循环冗余校验CRC编码.xls"文件中，很可能包含了这些步骤的详细说明和示例。可能有工作表展示了如何将数据转换为二进制，如何使用Excel公式或VBA宏进行CRC计算，以及如何比较和验证CRC码...
BER编码规则和传输语法[收集].pdf
10-11
**BER编码规则和传输语法详解** ...理解并掌握BER编码对于进行软件开发，特别是涉及到网络通信和数据交换的领域，是非常关键的技能。在实现中，需要注意Tag的编码形式、Length的长度表示以及Value的类型特定编码规则。
深度学习基础
写代码的小阿帆的博客
07-25 722
本章学习了深度学习的两大分支，神经网络和决策树，神经网络依靠其隐藏层对数据进行特征提取和变换处理，最后在输出层输出结果，根据对输出要求的不同可以使用不同的激活函数，作为普通开发者我们应该更关注的是神经网络的优化方向，增加学习数据，调整正则化参数，以及交叉验证方法和迁移学习；决策树对人来说更容易理解，使用类似二叉树的数据结构进行分类判断，为了减少异常数据对树的影响，我们使用多个决策树票选结果，为了减少特征对树的影响，我们又引入了随机森林，最后介绍了目前效果很好的决策树方案——XGBOOST。
昇思25天学习打卡营第1天|快速入门
07-28 728
昇思大模型平台是一个集算法选型、创意分享、模型实验和大模型在线体验为一体的AI学习与实践社区，而且还内置了AI实验室，它覆盖多领域任务，体验全流程开发，支持用户在线训练和推理可视化，可创建自己的项目空间对待开发者很友好，提供云上开发环境，无需配置环境，既可灵活调试运行代码，每天免费使用8个小时。
MOE模式：或将是最好的大模型应用开发路径
AI相关从业分享
07-28 715
MOE（Mixture of Experts，混合专家）是一种机器学习模型架构，旨在通过结合多个专家网络来提高模型的性能和泛化能力。以下是传统模型和大模型中MOE模式的相关介绍及其优势。传统模型中的MOEGate网络：决定输入数据应该被路由到哪一个专家网络。Gate网络可以根据输入数据的特征来动态分配数据。Expert网络：一系列专门的网络，每个网络都是针对特定数据分布进行训练的。Expert网络可以是对特定问题有深入理解的小模型。组合层：将所有Expert网络的输出进行组合，形成最终的预测结果。
带并行卷积的水下图像背景前景分割方法
最新发布
renhongxia1的博客
07-30 689
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
查阅相关资料，并结合PSNR,MSE,及SSIM的计算公式及原理，及前面涉及的编码数据（自己可补充实验数据）分析PSNR,MSE,及SSIM测度的优缺点。
07-09
PSNR（Peak Signal-to-Noise Ratio），MSE（Mean Squared Error）和SSIM（Structural Similarity Index）是常用的视频质量评价指标，用于衡量原始视频与压缩视频之间的质量差异。下面是它们的计算公式及原理，以及优缺点的分析： 1. PSNR： PSNR是通过计算原始视频与压缩视频之间的均方误差（MSE）来评估视频质量的指标。PSNR的计算公式如下： PSNR = 10 * log10((Max^2) / MSE) 其中，Max表示像素值的最大可能取值，通常为255。 优点： - PSNR是一种简单直观的指标，易于计算和理解。 - PSNR对于像素级别的失真较为敏感，适用于评估压缩算法在保持细节方面的性能。 缺点： - PSNR无法对人眼感知的质量变化进行准确的建模，它仅仅是通过像素级别的差异来评估质量，忽略了人眼对图像细节、颜色和纹理等更高级特征的感知。 - PSNR对于亮度、对比度和颜色偏移等失真不敏感，难以准确评估这些对人眼感知重要的因素。 2. MSE： MSE是计算原始视频与压缩视频之间均方误差的指标，即每个像素点差异的平方和的平均值。 MSE的计算公式如下： MSE = 1 / (M * N) * Σ((I(i, j) - K(i, j))^2) 其中，I(i, j)表示原始视频的像素值，K(i, j)表示压缩视频的像素值，M和N分别表示图像的宽度和高度。 优点： - MSE是一种简单易计算的指标，可以直接度量图像像素级别的差异。 缺点： - MSE没有考虑到人眼对图像质量感知的特性，无法准确评估图像质量。 3. SSIM： SSIM是一种结构相似性指标，综合考虑了亮度、对比度和结构等多个因素。SSIM的计算公式如下： SSIM = (2 * μx * μy + C1) * (2 * σxy + C2) / ((μx^2 + μy^2 + C1) * (σx^2 + σy^2 + C2)) 其中，μx和μy分别表示原始视频和压缩视频的亮度均值，σx和σy分别表示原始视频和压缩视频的亮度方差，σxy表示原始视频和压缩视频的亮度协方差，C1和C2是常数，用于避免分母为0的情况。 优点： - SSIM综合考虑了亮度、对比度和结构等多个因素，更加符合人眼对图像质量的感知。 - SSIM对于一些常见的失真类型（如亮度、对比度和结构失真）具有较好的敏感性。 缺点： - SSIM对于颜色偏移等失真不敏感，可能无法准确评估这些因素对图像质量的影响。 - SSIM计算复杂度较高，需要进行多次均值和方差计算，不太适合实时应用。 综上所述，PSNR是一种简单直观的指标，但无法准确模拟人眼对图像质量的感知；MSE是一种简单易计算的指标，但没有考虑到人眼感知特性；SSIM综合考虑了多个因素，更符合人眼感知，但计算复杂度较高。在实际应用中，可以根据具体需求选择合适的指标来评估视频质量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值