U-net出处论文研读

疑问1

红色&绿色部分：

这里的一层图像转为64层是使用了64种不同的卷积核，每个卷积核全部卷积完572*572区域生成一副570*570？

那么这64个卷积核是依次有序的吗（即第二张image进来之后的卷积核也是这依次的64个卷积核吗？依次的会怎样？乱序的又会怎样？）？连续两次的卷积，卷积核是相同次序的吗（相同怎样，不同怎样）？

黄色部分：虚线框内是代表什么？（蓝色矩形代表原始大小，之后虚线框代表实际大小？如果这样为什么绿色部分的left没有框？）

奥，这里的黄色区域是crop之后的部分（crop操作依据是本文的‘overlap-tile strategy’），对应文章里面的Fig.2阐释：

目的是为了可以将U-net应用于large image时可以在不受GPU memory影响的情况下确保resolution。

---

文章里面的Fig.3.d蛮有意思的，会有折磨好的效果吗？而且这不就是我想要的U-net端对端的可视化的一种嘛。

---

另外：U-net原文还提及了对架构中多个feature maps的权重（初始化）问题：

这里是依据每个feature maps的输入节点数，做了标准化。

---

数据增广

‘In case of microscopical images we primarily need shift and rotation invariance as well as robustness to deformations and gray value variations. Especially random elastic deformations of the training samples seem to be the key concept to train a segmentation network with very few annotated images. We generate smooth deformations using random displacement vectors on a coarse 3 by 3 grid. The displacements are sampled from a Gaussian distribution with 10 pixels standard deviation. Per-pixel displacements are then computed using bicubic interpolation. Drop-out layers at the end of the contracting path perform further implicit data augmentation.’

‘对于显微图像，我们首先需要平移和旋转不变性以及对变形和灰度值变化的鲁棒性。 尤其是训练样本的随机弹性变形似乎是训练带有很少注释图像的分割网络的关键概念。 我们使用在3 x 3粗网格上的随机位移矢量生成平滑变形。 从具有10个像素标准偏差的高斯分布中采样位移。 然后使用双三次插值法计算每个像素的位移。 收缩路径末端的退出层进一步执行隐式数据扩充。’

---

Evaluation

1

‘The evaluation is done by thresholding the map at 10 different levels and computation of the “warping error", the ”Rand error" and the “pixel error" [14]’

’‘通过在10个不同级别的对地图进行阈值处理并计算“warping error”，“Rand误差”和“像素误差”【14】来进行评估”‘

这里的参考文献14指向的是：http://brainiac2.mit.edu/isbi_challenge/evaluation

但是这里发现：

’取消的指标
旧的（和已弃用的）指标是：

最小拆分和合并翘曲错误，一种分割度量标准，可惩罚拓扑分歧，在这种情况下，对象拆分和合并。
前景限制的Rand误差：定义为1-前景限制的Rand索引的最大F分数，用于衡量两个聚类或分段之间的相似性。 在此版本的Rand索引中，我们排除了原始标签的零成分（地面真实情况的背景像素）。
像素误差：定义为1-像素相似度的最大F分数，即原始标签和结果标签之间的欧几里德距离的平方。
如果您有兴趣，您仍然可以使用此脚本在Fiji使用此指标。‘

这里评价的script是写好的：https://imagej.net/Segmentation_evaluation_metrics_-_Script

目前的Evaluation是：

‘为了评估和评估参与者方法的性能，我们之前首先使用了基于2D拓扑的分割指标以及像素误差（为了进行指标比较）。每个指标都有更新的排行榜。但是，对原始挑战评分系统的回顾性评估表明，它对神经突边界宽度的变化没有足够的鲁棒性。在评估了所有这些指标和相关变体之后，我们发现Rand误差和信息变异的特殊归一化版本最符合我们对细分质量的定性判断：

边界变薄后前景限制的兰德评分：VRand（变薄版）
边界稀疏后的前景受限信息理论评分：VInfo（变薄版）
我们凭经验发现，在这两个流行指标中，VRand比VInfo更强大，因此新的排行榜按其价值排序。您可以在我们的开放获取挑战出版物中找到有关新指标的所有详细信息。’

script依然是写好可用的（https://imagej.net/Segmentation_evaluation_after_border_thinning_-_Script）。

2

除此之外，还运用了交并比，即IOU（intersection over union）作为评价标准

---

原始版本U-net对外链接

转自：https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/

提供了U-net的

U-net的5分钟预告片演示（https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/u-net-teaser.mp4） & U-net的下载链接（https://lmb.informatik.uni-freiburg.de/people/ronneber/u-net/u-net-release-2015-10-02.tar.gz）与相关说明：

‘We provide the u-net for download in the following archive: u-net-release-2015-10-02.tar.gz (185MB). It contains the ready trained network, the source code, the matlab binaries of the modified caffe network, all essential third party libraries, the matlab-interface for overlap-tile segmentation and a greedy tracking algorithm used for our submission for the ISBI cell tracking challenge 2015. Everything is compiled and tested only on Ubuntu Linux 14.04 and Matlab 2014b (x64)

To apply the segmentation and the tracking to the images in "PhC-C2DH-U373/01" simply run the shell script
./segmentAndTrack.sh
The resulting segmentation masks will be written to "PhC-C2DH-U373/01_RES"

If you do not have a CUDA-capable GPU or your GPU is smaller than mine, edit segmentAndTrack.sh accordingly (see there for documentation).’

‘我们在以下档案库中提供供下载的u-net：u-net-release-2015-10-02.tar.gz（185MB）。 它包含现成的训练有素的网络，源代码，修改后的caffe网络的matlab二进制文件，所有必要的第三方库，用于重叠拼贴分割的matlab接口以及用于我们提交ISBI细胞跟踪挑战的贪婪跟踪算法 2015年。所有内容仅在Ubuntu Linux 14.04和Matlab 2014b（x64）上进行编译和测试

要将分段和跟踪应用于“ PhC-C2DH-U373 / 01”中的图像，只需运行shell脚本
./segmentAndTrack.sh
生成的分割掩码将被写入“ PhC-C2DH-U373 / 01_RES”

如果您没有支持CUDA的GPU，或者您的GPU小于我的GPU，请相应地编辑segmentAndTrack.sh（有关说明，请参见此处）。’