深度学习
文章平均质量分 52
cocapop
这个作者很懒,什么都没留下…
展开
-
dgcnn改进idea
1.DGCNN中自适应确定k-NN中的k值。原创 2023-04-22 10:26:34 · 193 阅读 · 0 评论 -
激活函数绘图代码
【代码】激活函数绘图代码。原创 2023-06-04 16:44:56 · 198 阅读 · 1 评论 -
SA和SSA
SA(Spatial Attention)模块首先对输入信息分别进行 Maxpool、Avgpool 操作,并按通道维度拼接池化结果,再进行1x1Conv 卷积,最后经过 Sigmoid 激活函数得到输出,最大池化与平均池化操作互为补充以保留更多特性信息,网络学习更关注重要的邻域特征。SSA模块保留 SA机制的优势并加以改进,利用 1×1Conv 降低通道维度以实现轻量化,采用。原创 2023-06-02 13:49:36 · 598 阅读 · 0 评论 -
梯度下降算法
机器学习目标:拟合出最接近训练数据分布的直线——也就是找到使得误差代价最小的参数——也就是开口向上的抛物线的最低点。我们让斜率小一点,比如让斜率乘以一个非常小的值(0.01)——下降很顺畅。动态调节学习率的Adarad:常更新的学习率小一些,不长更新的学习率大一些——频繁更新的学习率可能过小以至逐渐消失。代价函数是波浪线,存在多个最小点——机器学习目标:找到最低的那个(全局最优和局部最优)ps.机器学习常见任务:学习算法——发现规律——改进模型——作出预测。4.大胆的往前走吗,步子迈多大——学习率。原创 2023-03-29 20:34:13 · 263 阅读 · 0 评论 -
Adam优化器
简单来说,Adam是带动量的梯度下降算法和RMSProp算法的结合。对梯度的一阶矩估计(First Moment Estimation,即梯度的均值)和二阶矩估计(Second Moment Estimation,即梯度的未中心化的方差)进行综合考虑,计算出更新步长。均方根传播(RMSProp)也维护每个参数的学习速率,根据最近的权重梯度的平均值(例如变化的速度)来调整。自适应梯度算法(AdaGrad)维护一个参数的学习速率,可以提高在稀疏梯度问题上的性能(例如,自然语言和计算机视觉问题)。原创 2023-03-29 19:41:01 · 4977 阅读 · 0 评论 -
深度学习理论基础
也就是说每次只输入一定数量的训练样本对模型进行训练,这个数量就是batch_size的大小。同时为了达到更高的训练网络精度,应该增大epoch,使训练时间变长。batch是指从总样本切分出来的样本,batch_size是每一个 batch 中的样本数,Epoch是总样本的传递次数,batch_numbers是在完成一次Epoch要处理的batch的个数。别太小的原因:batch size下限主要受收敛的影响。m即BATCH_SIZE设置大小,即增大BATCH_SIZE的大小可以使得梯度方差的大小减小。原创 2023-03-29 16:36:29 · 390 阅读 · 0 评论