- 博客(28)
- 收藏
- 关注
RSS订阅原创 23暑假深度学习 week3-ResNet
为了解决深层网络的梯度消失和梯度爆炸问题，引入了残差结构到深度学习网络中。将网络之前层的输出跳过中间几层与输出相加，因为特征图尺寸和维度不同，所以残差结构需要将特征图尺寸和维度改至与输出相同后再相加。因为加法不会使梯度叠加，所以很大的缓解了梯度爆炸和梯度消失问题，提升模型性能。ResNeXt将残差分为若干个支路，左图所示的结果在计算上等效于右图，右图就是分组卷积，将32个通道为一组使用一个卷积核，每组之间不共享权值。这样做可以减少参数量，加快网络速度，同时分组卷积相比普通的卷积并不会使模型效果更差。
2023-07-25 20:53:29
106
原创 23暑假深度学习 week2-卷积神经网络
mnist是黑白手写数字数据集，定义了两种网络，只有全连接的网络和有卷积层的网络。CNN由两层卷积层和两层全连接层构成，使用ReLU激活函数，最大池化层将输出每个kernelsize*kernelsize大小内最大的元素，用于减小数据量、降低卷积对位置的敏感和提取特征。最后softmax输出每个类别的概率。全连接网络和卷积网络训练后的结果如图，可见在训练数据上两者的损失都降到了较低的水平，但在测试集上CNN的准确度高了许多。在将图片中的像素打乱后再训练，发现全连接网络的准确率几乎不变，而卷积网络的准确
2023-07-17 15:42:17
107
原创 【数据结构】红黑树
最近在复习数据结构，复习到红黑树在b站看了几个视频都感觉云里雾里，于是看书总结，记录一下方便自己以后查看。我们知道二叉平衡树的查找效率很高，在log(n)这个数量级，但是为了维护树的平衡性质，在插入和删除结点的时候要经常进行左旋和右旋操作，如果我们需要经常插入和删除结点，那么我们很大的开销就在维护这棵树的平衡上，于是红黑树的优势就体现出来了。首先红黑树不是一颗平衡树，它由红黑的规则来保持一个大致的“平衡”，让红黑树的查找效率也在log(n)这个量级。此外，红黑树只需要一个大致的“平衡”，所以减少了调整树结构
2022-07-09 11:57:25
657
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人