16 第五章深度学习计算

5.4. 自定义层 — 动手学深度学习 2.0.0-beta0 documentationhttps://zh.d2l.ai/chapter_deep-learning-computation/custom-layer.html

 

 

Net是mlp的实例  讲x 输入进net

 

 

enumerate(iteration, start)：返回一个枚举的对象。enumerate(X, [start=0])

函数中的参数X可以是一个迭代器(iterator)或者是一个序列，start是起始计数值，默认从0开始。

 a = {1: 1, 2: 2, 3: 3}

 for i , item in enumerate(a):    print i, item  ----------------- Ouput： 1 2 3

enumerate在python中是什么意思_python中enumerate什么意思_weixin_39747296的博客-CSDN博客enumerate(iteration, start)：返回一个枚举的对象。迭代器(iteration)必须是另外一个可以支持的迭代对象。初始值默认为零，也就是你如果不输入start那就代表从零开始。迭代器的输入可以是列表，字符串，集合等，因为这些都是课迭代的对象。返回一个对象，如果你用列表的形式表现出来的话那就是一个列表，列表的每个元素是一个元组，元祖有两个元素，第一个元素代表编号，也就是第几个...https://blog.csdn.net/weixin_39747296/article/details/110962039

false 不参与训练的 随机放的一个位置

x和self.randweight 做乘法mm +1假设偏移

绝对值求和大于1

Pytorch学习使用笔记_mznfirst的博客-CSDN博客1. 求绝对值输入x 是tensor类型x = torch.abs(x)2. 设置阈值函数Class torch.nn.Threshold(threshold, value, inplace=False)3. 求均值(1) pytorch输入x 是tensor类型x = torch.mean(x)Example：>>> a = torch.rand...https://blog.csdn.net/mznfirst/article/details/88720315

 

nestmlp：  net sequential 类和单独层linear的嵌套

 net（2）  ： nn.Linear(8,1)

state_dict()字典 里面啥都有       

在pytorch中保存和加载模型时会用到state_dict，它是一个字典对象，记录了模型每层的参数（权重、偏置等）。【PyTorch】state_dict详解_Xhfei1224的博客-CSDN博客在pytorch中，torch.nn.Module模块中的state_dict变量存放训练过程中需要学习的权重和偏执系数，state_dict作为python的字典对象将每一层的参数映射成tensor张量，需要注意的是torch.nn.Module模块中的state_dict只包含卷积层和全连接层的参数，当网络中存在batchnorm时，例如vgg网络结构，torch.nn.Module模块中的state_dict也会存放batchnorm’s running_mean，关于batchnorm详解可见hthttps://blog.csdn.net/weixin_41990278/article/details/106459727 

 f‘block{1}’  传字符串的名字  不用告诉我012345 直接告诉我block0 block1  

 

 

 

 

 nn,uniform_ 均与分布

net【0】。weigth。data【：】+=1  所有元素加1 

nn.init 中实现的初始化函数 uniform, normal, const, Xavier, He initialization_Wanderer001的博客-CSDN博客1. 均匀分布torch.nn.init.uniform_(tensor, a=0, b=1)服从~U(a,b)U(a,b)2. 正太分布torch.nn.init.normal_(tensor, mean=0, std=1)服从~N(mean,std)N(mean,std)3. 初始化为常数torch.nn.init.constant_(tensor, val)...https://blog.csdn.net/weixin_36670529/article/details/105975665

 net查的不对 nn。relu（）也算一个net

---

 没有pytorch

---

 

 

 

---

 检查参数是不是保存啦 可以用不