Vision Transformer与Swin Transformer计算复杂度详细推导过程

Vision Transformer和Swin Transformer计算复杂度的详细推导需要考虑到多个因素，比如模型的架构、输入数据的形状、执行的步骤数等。但是，大致的计算复杂度可以用以下公式表示：

O(N^2 * H * W * log(S))，其中：

• N: 该模型中的关注点，即该模型处理的节点数量；
• H: 高度，表示图像的高度；
• W: 宽度，表示图像的宽度；
• S: 窗口大小，表示该模型考虑的窗口大小。

该公式中的 log(S) 部分表示对每个关注点进行分块处理的代价。这是因为，在计算时，该模型需要对整个图像进行预处理，以提取关注点的位置信息。

请注意，这是一个大致的