【深度学习】Position Wise 到底是什么，有什么用

1. 遇到的问题

今天在看 Transformers 的前生今世 的时候，又一次看到了 Position Wise ，经常看到但老是一知半解，故索性查了一下，发现网上的都没怎么细讲其缘由，有点差强人意，于是我又用咱们最喜欢的 GPT-4o 查了一下，感觉给的答案较为全面，故分享给大家。

2. 关于 Position Wise

“Position Wise”在神经网络和深度学习领域通常指的是一种操作方式，特别是在处理序列数据（如文本或时间序列数据）时。具体来说，它指的是对序列中的每个位置（时间步或单词）独立地应用某种操作，而不考虑其它位置的信息。以下是一些具体的例子来帮助理解：

Position-wise Feedforward Network:
在 Transformer 模型中，每个位置的输入向量都会通过一个相同的前馈神经网络进行处理。这个前馈网络对每个位置都是独立应用的，即对每个位置的处理不依赖于其它位置。这种设计提高了并行处理的效率。

Position-wise Activation Function:
在序列模型中，激活函数（如 ReLU、sigmoid）可以在每个位置上独立应用。例如，在 RNN 或 Transformer 中，每个时间步的输出会单独通过激活函数处理，不受其它时间步的影响。

Position-wise Linear Transformation:<