解决torch.norm无法识别long类型数据的L2范数计算问题（long类型下的L2范数计算）

一、L2范数介绍

• x向量各个元素平方和的1/2次方

二、L2范数计算

2.1 导入包

import torch.nn as nn
import torch

2.2 L2范数计算

L2_norms = {}
for name, param in local_model_paras.items():
       L2_norms[name] = torch.norm(param, p=2)

2.3 注意的地方

• 如果参数里面没有.long()形式的，上述代码就可以实现
• 对于 torch.norm 函数，它要求输入的张量数据类型应为浮点型或复数型，而不支持 long 类型
• 如果张量是 long 类型，并且无法直接转换为浮点型或复数型，需要手动计算 L2 范数
• be like下面这样

# L2 范数
L2_norms = {}
for name, param in local_model_paras.items():
	if name == 'xxxx':  # long类型层的名字
		# L2_norms[name] = torch.norm(param.long(), p=2)
		param_squared = param.float().pow(2)
		sum_squared = param_squared.sum()
		L2_norms[name] = torch.sqrt(sum_squared)
	else:
		L2_norms[name] = torch.norm(param, p=2)