F.normalize学习计算

1.函数介绍

import torch.nn.functional as F
F.normalize(input: Tensor, p: float = 2.0, dim: int = 1) -> Tensor

input: 是一个任意维度的Tensor类型的数据
p：默认为2，表示2范数；同理，p=1表示1范数
dim：（后面我会总结，先这样解释，方便大家理解，看完例子再看我总结的，会很清楚）
	默认 dim=1，在输入数据input的shape是二维的且p=2情况下，表示对行进行操作，即所有元素除以每一行元素的根号下平方和；
    dim=0 时，在输入数据input的shape是二维的且p=2情况下，表示对列进行操作，即所有元素除以每一列元素的根号下平方和；
    dim=2 时，我们通过例子分析...

normalize的参数不止这三个，其他的可以参考官方文档。

输入一维的Tensor

c = torch.Tensor([1, 2, 3])
print(F.normalize(c, dim=0))

'''
输出：
tensor([0.2673, 0.5345, 0.8018])
torch.Size([3])
解释：
我们说过，默认dim=1，是按行操作，但是一维的Tensor是列向量，所以必须指定dim=0
默认p=2，所以这个一维的Tensor（列向量）每个元素都除以sqrt(1**2 + 2**2 + 3**2)
'''

输入二维的Tensor

b = torch.Tensor([[1, 2, 3], [4, 5, 6]])
print(F.normalize(b, dim=0))
print(F.normalize(b, dim=1))
print(b.shape)

'''
输出：
tensor([[0.2425, 0.3714, 0.4472],
        [0.9701, 0.9285, 0.8944]])
tensor([[0.2673, 0.5345, 0.8018],
        [0.4558, 0.5698, 0.6838]])
torch.Size([2, 3])
'''

解释：
dim=0，按列操作，每个元素除以每一列元素的根号下平方和，以第一列为例，即sqrt(12 + 42)
dim=1，按行操作，每个元素除以每一行元素的根号下平方和，以第一行为例，即sqrt(12 + 22 + 3**2)

输入三维Tensor

a = torch.Tensor([[[1, 2, 3], [4, 5, 6]], [[10, 20, 30], [40, 50, 60]]])
# 默认p=2，dim=1，所有元素除以sqrt(a[0][0][0]**2 + a[0][1][0]**2)，即sqrt(1**2 + 4**2)
print(F.normalize(a))  
# dim=0，所有元素除以sqrt(a[0][0][0]**2 + a[1][0][0]**2)，即sqrt(1**2 + 10**2)
print(F.normalize(a, dim=0))  
# dim=2，所有元素除以sqrt(a[0][0][0]**2 + a[0][0][1]**2 + a[0][0][2]**2)，即sqrt(1**2 + 2**2 + 3**2)
print(F.normalize(a, dim=2))

'''
输出：
tensor([[[0.2425, 0.3714, 0.4472],
         [0.9701, 0.9285, 0.8944]],

        [[0.2425, 0.3714, 0.4472],
         [0.9701, 0.9285, 0.8944]]])
tensor([[[0.0995, 0.0995, 0.0995],
         [0.0995, 0.0995, 0.0995]],

        [[0.9950, 0.9950, 0.9950],
         [0.9950, 0.9950, 0.9950]]])
tensor([[[0.2673, 0.5345, 0.8018],
         [0.4558, 0.5698, 0.6838]],

        [[0.2673, 0.5345, 0.8018],
         [0.4558, 0.5698, 0.6838]]])
解释：
这个不好解释，烦请大家看我的总结！
'''