【知识点】torch

目录

# torch

1. torch结构

2. torch.nn

3. torch.nn.Functional 之非线性函数

4. torch.nn.Parameter()

5. 查看torch版本

---

# torch

pytorch官方文档：Parameter — PyTorch 2.3 documentation

1. torch结构

2. torch.nn

3. torch.nn.Functional 之非线性函数

4. torch.nn.Parameter()

5. 查看torch版本

import torch

print(torch.__version__) #注意是双下划线

6. 虚拟环境

创建 conda create -n 环境名 python=3.6

激活 conda activate NN

7.  查看所有的环境列表

conda info --envs 

8. nn.init.xavier_normal_()

Xavier初始化的基本思想是保持输入和输出的方差一致，这样就避免了所有输出值都趋向于0。这是通用的方法，适用于任何激活函数

# 默认方法
for m in model.modules():
    if isinstance(m, (nn.Conv2d, nn.Linear)):
        nn.init.xavier_uniform_(m.weight)
# 也可以使用 gain 参数来自定义初始化的标准差来匹配特定的激活函数：
for m in model.modules():
    if isinstance(m, (nn.Conv2d, nn.Linear)):
        nn.init.xavier_uniform_(m.weight(), gain=nn.init.calculate_gain('relu'))