深度学习的基本技巧
文章平均质量分 52
橘色闪光
这个作者很懒,什么都没留下…
展开
-
开始monai
MONAI是nvidia技术人员在2022年1月13日线上沙龙分享出来的repository。主要针对医疗影像的特殊性质在pytorch基础上做了一些相关工作。本文章只作为线上沙龙的一些体会,关于monai技术的具体使用后续在有文章更新(如果我还想得起来更新的话233)。如上所示,MONAI是主要针对healthcare的基于pytorch(吐槽一下paddle要取代pytorch还有很长的路要走,当然paddle也有他的亮点233)。以下是他的设计初衷,由于本人的工作是做医疗影像的,听完他们的原创 2022-01-13 11:28:30 · 1375 阅读 · 2 评论 -
3d图像变形操作
We appliedposition of[17] and then resampled to a common resolution of 1 × 1 × 1.5 mm. We appliedrandom deformations to the scans used for training by varying the position ofthe control points with random quantities obtained from gaussian distributio..原创 2021-11-29 14:32:44 · 253 阅读 · 2 评论 -
关于3d相关资料
从助教老师那边拿到关于3d点云标注信息的资料原创 2021-11-08 11:32:44 · 53 阅读 · 0 评论 -
关于图卷积
跳出公式,看清全局,图神经网络(GCN)原理详解_结构回忆一下,我们做图像识别,对象是图片,是一个二维的结构,于是人们发明了CNN这种神奇的模型来提取图片的特征。现实生活中,其实有很多很多不规则的数据结构,典型的就是图结构,或称拓扑结构,如社交网络、化学分…https://www.sohu.com/a/342634291_651893...转载 2021-10-26 22:39:31 · 95 阅读 · 0 评论 -
关于广播机制
各种深度学习框架中的tensor广播机制和numpy是一样一样的。使用于张量形状不一致的情况。广播机制需要遵循以下条件:每个张量至少为一维张量。就是说总得有吧 然后从后往前对张量比较张量的形状,当前维度的大小要么相等,要么其中一个的大小为1(之所以为1相当于可以根据这个值进行“copy”到匹配大小) 如果两个张量的形状长度不一致。我们就扩充短的形状张量的维度(形状上向前+1)到形状长度一致(维度一致)总得过程可以理解为,先通过广播的方式让两个张量的形状变得一致,然后进行运算...原创 2021-07-15 07:52:22 · 330 阅读 · 0 评论 -
关于DANet注意力机制
所谓注意力,是把关注点放在值得特征图上值得关注的一些地方。那么为我们怎么知道哪些点值得关注哪些点不值得关注呢?这个也是需要构建网络来学习的。DANet又叫做Dual attention Net。原创 2021-06-21 11:29:17 · 1994 阅读 · 0 评论 -
学习率的调整策略以及loss函数的设定总结
我们知道,深度学习过程的本质,实际上是在网络构建好、以及loss计算方式确认的情况下。用loss对模型总可学习参数求梯度值乘以学习率来更新模型里面的相关学习参数。那么学习率我们应该如何设定呢?最朴素的思路是,学习率要先大后慢慢变小。因为一开始参数初始化后距离他的最优解距离通常来说是比较远的。我们要一开始以较大的学习率把参数更新到离最优值比较近的位置,然后在减小学习率来进行微调,达到使学习参数尽可能的接近最优值的目的。如下图所示红线是我们想要的最佳效果。已知的学习率调整策略也是多样的,但是其本质都原创 2021-06-11 08:04:48 · 4168 阅读 · 1 评论 -
神经网络的基本训练流程要素
什么是模型训练呢?简单来说就是我们根据我们的任务内容,构建网络模型。模型的输出与我们处理后的目标label值构成loss值。我们的目的是让我们的模型输出与lable的loss数值越小越好。这样能够让模型在测试的时候仅仅通过输入数据能够得到相对比较准确的label值。那么这件事情有哪些技术关键点了。我做了如下总结明确我们要训练的label值。在构建dataset的时候,能够对label值进行处理明确我们网络要训练得到的输出数据是什么样子的,又是如何与我们的具体任务相映射。这个label的处理方式不同的任务原创 2021-06-06 22:11:43 · 1221 阅读 · 0 评论