- 博客(8)
- 收藏
- 关注
RSS订阅原创 torch笔记——初级RNNCell和RNN构建
定义RNNCELL'''要输入输入维度，隐藏层维度，输入数据'''model = RNNCell() #实例化注意每一次大循环中都要设置hidden清零。对于hidden0，是一种先验概率，如果不需要可以设成0大循环（epoch)负责总的训练次数,负责做梯度更新和反向传播，因为RNN中要权重共享，不能在一句话中更改权重。还可以输出本轮错误率,***最重要的是hidden的先验重置小循环（input，index)负责按照顺序对一句话”hello"进行顺序训练#定义训练循环（大循环+小循环）
2022-11-07 16:00:49
1055
原创 torch学习笔记——ResNet残差网络
在网络的权重更新中，主要依靠w -= w + n * d(loss)/dw。来进行更新，但是如果深度一些的网络，随着层数的增加，d(loss)/dw =展开的叠乘数目也在增加，在各个过程中，如果设计不合理，出现一些1的数，则成指数被的无限趋近于0（或者+∞），则会引起w = w;w = +∞的状态，所谓的梯度消失或者梯度爆炸。
2022-10-31 19:40:31
882
原创 torch学习笔记——基于InceptionModule的CNN网络
卷积核设计时注意两点，第一点一定要考虑padding与stride，来保证输出的长宽不变。第二点，注意代码的简化行，不要重复设计，避免冗余。
2022-10-31 17:18:30
580
原创 torch学习笔记——多分类问题（2）
一开始我分不清楚，epoch，i（index），data之间的关系。我用图片表达。训练集一共包含了 60,000 张图像和标签，而测试集一共包含了 10,000 张图像和标签。epoch记录的是所有数据遍历一遍的次数；那么index记录的就是现在训练的是第几个minibatch。每个minibatch中有64条数据，每条数据是一个28*28的矩阵，所以前面说的如果直接用model(data)的话每层输入只能是一维的，但是data是高维的，要用view()降成一维的。
2022-10-21 15:31:09
1346
原创 torch学习笔记——多分类问题（1）
信息量（I（x))：当一个事件发生的概率越大，它所包含的信息量也就越少。熵（H（x))：表示系统的混乱程度，代表一个系统内信息量的总和，熵越大表示系统越混乱交叉熵（H（a,b))：表示a,b之间的相似程度，越小表示越接近。对于多分类问题，不能像二分类那样一种情况发生的概率是1，另外几种的都是零。比如掷色子，每个点位出现的概率都是1/6，而不是1或0.所以，在多分类的任务里，我们要保证两点，1：每个情况出现的概率大于等于0；
2022-10-19 16:33:20
896
原创 torch学习笔记——多层Logistic分类搭建
这里选用的激活函数是sigmoid，也可以使用其他的如Relu(),但是使用relu有风险，在计算损失函数（这里我们选择用交叉熵的时候会计算ln值，这时会出现ln(0)的情况，所以最后一层输出函数应该选择为sigmoid函数）（二）定义前向函数return y3这里写有y\y2\y3的目的是为了理解这个顺序，其实为了简化应该都用xreturn xprint("第%d次" % times)注意梯度清零，反向传播，梯度更新的顺序。
2022-10-13 21:34:48
693
空空如也
yolov7导入注意力机制出现Missing key(s) in state_dict:
2023-02-26
TA创建的收藏夹 TA关注的收藏夹
TA关注的人