- 博客(3)
- 收藏
- 关注
RSS订阅原创 Run, Don’t Walk Chasing Higher FLOPS for Faster Neural Networks
直接去做T形卷积的FLOPs要高于pconv和PWconv的，所以将它分解开来会更好，可以更好的利用滤波器间的冗余性。作者在附录中还提供了多种版本，包括FasterNet-T0/1/2（微型版本）、FasterNet-S（小型版本）、FasterNet-M（中型版本）和FasterNet-L（大型版本），有类似的架构，但在深度和宽度上会有所不同。在训练阶段，GhostConv的工作方式是，它先使用标准卷积操作处理输入特征图的一部分，然后通过深度可分离卷积来生成额外的"ghost"通道。
2023-09-17 13:03:44
283
原创 Deep Learning with Differential Privacy
论文也指出，DP-SGD需要更多的数据和更长的训练时间，因为添加的噪声会降低模型的学习效率。另外，选择合适的噪声级别也是一个挑战，因为噪声级别对模型的性能和隐私保护效果都有影响。根据论文的实验结果，DP-SGD在保护隐私的同时，能够达到与普通SGD相近的模型性能。在DP-SGD中，首先对一批数据计算梯度，然后对梯度添加噪声，最后使用这个添加了噪声的梯度来更新模型的参数。这个公式表明，在每个时间步，模型的参数会向损失函数梯度的反方向移动一小步，同时添加一些噪声。) 是均值为0，协方差为。是一批数据，N(0,
2023-09-16 14:15:28
184
原创 论文分享（1）：医学分割
本文提出了一种轻量级的神经网络模型,用于帕金森病的高效诊断。该模型由卷积神经网络和长短期记忆网络串联组成,以适应所收集的时间序列信号的特征。具体来说,首先使用了多层LSTM模型来丰富特征,然后将其与原始数据连接,输入到浅层一维卷积神经网络中进行有效分类。(1) LSTM模块:包含1个LSTM单元,用来学习时间序列数据的时间特征。(2) CNN模块:包含2个CNN单元,每个单元包括1维卷积层、ReLU激活层、1维最大池化层。使用1维卷积提高效率。
2023-09-15 14:55:23
356
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人