【深度学习】Position Wise 到底是什么，有什么用

SuasyYi

已于 2024-06-20 11:40:28 修改

阅读量537

点赞数 5

分类专栏：笔记整理文章标签：深度学习人工智能 nlp

于 2024-06-20 11:39:07 首次发布

本文链接：https://blog.csdn.net/qq_35353673/article/details/139827506

版权

3 篇文章 1 订阅

订阅专栏

今天在看 Transformers 的前生今世的时候，又一次看到了 Position Wise ，经常看到但老是一知半解，故索性查了一下，发现网上的都没怎么细讲其缘由，有点差强人意，于是我又用咱们最喜欢的 GPT-4o 查了一下，感觉给的答案较为全面，故分享给大家。

“Position Wise”在神经网络和深度学习领域通常指的是一种操作方式，特别是在处理序列数据（如文本或时间序列数据）时。具体来说，它指的是对序列中的每个位置（时间步或单词）独立地应用某种操作，而不考虑其它位置的信息。以下是一些具体的例子来帮助理解：

Position-wise Feedforward Network:
在 Transformer 模型中，每个位置的输入向量都会通过一个相同的前馈神经网络进行处理。这个前馈网络对每个位置都是独立应用的，即对每个位置的处理不依赖于其它位置。这种设计提高了并行处理的效率。

Position-wise Activation Function:
在序列模型中，激活函数（如 ReLU、sigmoid）可以在每个位置上独立应用。例如，在 RNN 或 Transformer 中，每个时间步的输出会单独通过激活函数处理，不受其它时间步的影响。

Position-wise Linear Transformation:
在一些模型中，对序列数据的每个位置都应用相同的线性变换。这意味着对序列中的每个位置，都会执行同样的加权求和操作，使用相同的权重矩阵。

这种“Position Wise”操作方式的主要优点是能够更好地并行化处理，因为每个位置的计算都是独立的，可以同时进行。这在处理大规模数据时非常有用，尤其是在深度学习模型的训练和推理过程中。

希望大家在看文章和模型的时候，对常见的trick和方法不要放过，一定要多查看看，说不定就会有新的启发。希望本篇文章能帮到你。

BTW，前文中提到的《Transformers 的前生今世》讲得很不错，也分享给大家

关注

专栏目录