![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
霹雳吧啦系列
文章平均质量分 63
LiWilling in NPU
萌新
展开
-
霹雳吧啦(4)——AlexNet
ISLVRC是一个用于图像分类的数据集亮点:首次使用GPU(CPU的20~50倍速度)使用了ReLU激活函数,而不是Sigmod(求导麻烦,网络深时出现梯度消失)使用了LRN局部响应归一化在全连接层前两层使用了Dropout神经元随机失活,以减少过拟合在每一层中随机失活几个神经元,可以理解为变相的减少了训练的参数。原创 2023-04-09 22:17:46 · 308 阅读 · 0 评论 -
霹雳吧啦(3)——tensorflow官方demo(一个“简单”的神经网络)(含注释)
study:(实际上是模型的代码,应该叫model,但我起的名字是study)所以我在上一个文件中使用了from study import MyModel 这行代码。实际上是子目录的问题,按照大佬的教程操作就没问题。train:用于训练模型。原创 2023-04-08 22:33:54 · 221 阅读 · 0 评论 -
霹雳吧啦(2)——误差的更新、反向传播,权重的更新
以该网络为例 左边为输入层,中间为隐藏层,右边为输出层 y1和y2的输出: softmax:所有输出节点概率和为1 交叉熵损失: 我们不可能将数据集一次塞入,因此我们是要分批次进行训练的 ,则损失梯度指向当前批次最优解方向引入优化器,使网络更快的收敛 引入了动量,考虑到了上一次的梯度方向,效果如左下图所示原创 2023-04-08 18:48:04 · 67 阅读 · 0 评论 -
霹雳吧啦(1)——卷积神经网络基础
在实际训练过程中,可以将输入层的输入节点数设为25,将输出层的输出节点数设为10,中间的隐藏层按实际情况进行设置。3、一般池化核的大小(poolsize)和步长(stride)相同,可以将特征图进行一定比例的缩小,计算更加方便(这只是一般情况下,但并不绝对)卷积核的深度要和输入特征矩阵一致(这里的深度指的是channel,即通道数),都是三维(图中三种颜色的矩阵)的,最终卷积得到的矩阵是。(将卷积核上的值与特征图上的值对应相乘,再进行相加,就得到最后矩阵中的一个值,每滑动一步计算一个值,最终得到卷积结果)原创 2023-04-07 23:00:22 · 145 阅读 · 0 评论