深度学习常用概念...

还是记下吧，反复忘。=。=【遇到就更新下，你也可以提供给我来更新^_^】
学LLM，不再更新..

目录

1.TP、TN、FP以FN

2. ConfusionMatrix、dice、hd95、jaccard/iou、precision、sensitivity/recall、specificity、accuracy

3. Params和FLOPs

4.医学数据集类型dicom、nii/nii.gz、nrrd、Analyze.（CT/MRI/PET）

5. pin_memory 和 non_blocking

6.Transformer中的BN、LN、IN、GN

---

1.TP、TN、FP以FN

• TP：True Positive，被判定为正样本，事实上也是正样本 ，即蓝色与红色的交集
  TN：True Negative，被判定为负样本，事实上也是负样本，即红色与蓝色以外区域（mask和预测以外的地方）
  FP：False Positive，被判定为正样本，但事实上是负样本，即红色中除了蓝色部分（是预测但不是mask的地方）
  FN：False Negative，被判定为负样本，但事实上是正样本，即蓝色中除了红色部分（是mask但不是预测的地方）

• 具体参考医学图像分割常见评价指标(单目标)——包含源码讲解和指标缺陷_医学图像分割指标-CSDN博客

2. ConfusionMatrix、dice、hd95、jaccard/iou、precision、sensitivity/recall、specificity、accuracy

3D医学图像指标算法（搞3D医学图像分割的多看看他这论文）：nnUNet/nnunet/evaluation/metrics.py at nnunetv1 · MIC-DKFZ/nnUNet · GitHub

3. Params和FLOPs

参数数量用Params表示，关系到模型大小，单位通常为M，由于通常参数用float32表示，所以模型大小是参数数量的4倍。
计算量用FLOPs表示，关系到算法速度，大模型的单位通常为G(10^9)，小模型通常为M(10^6)。

4.医学数据集类型dicom、nii/nii.gz、nrrd、Analyze.（CT/MRI/PET）

• dicom:检查部位的影响切片，单帧或多帧常dicom转为nii.gz
• nii.gz：每个nii.gz包括header（尺寸、间距.....很多重要信息）+data（+extension）,具体学习去看nii格式和nii.gz格式详解_.nii.gz-CSDN博客
• nrrd:读入网络时需要=.=
• Analyze：早期数据格式，被nii取代
• 涉及的修改window/level、重采样：CT影像数据DICOM与图像分割(paddle2.0) - 飞桨AI Studio星河社区CT医学影像中的重采样（spacing保持一致） - 知乎（不全，但方便理解）

5. pin_memory 和 non_blocking

 内存可以分为 没锁的（pageable，可分页的） 和 锁了的（pinned）。

• 锁页内存和GPU显存之间的拷贝速度大约是6GB/s
• 可分页内存和GPU显存间的拷贝速度大约是3GB/s。
• GPU内存间速度是30GB/s,CPU间内存速度是10GB/s

'''
dataloader会在每次批量加载数据时将数据张量固定在CPU内存中，从而加速数据传输到GPU
计算机具备足够的内存资源，你可以尝试启用pin_memory以提高训练速度。
但如果你遇到内存不足或性能问题，可以考虑禁用它。
'''
train_loader = torch.utils.data.DataLoader(train_dataset,...,pin_memory=True)

for data, labels in train_loader:
 data = data.to('cuda:0', non_blocking=True)

6.Transformer中的BN、LN、IN、GN

BatchNorm就是通过对batch size这个维度归一化来让分布稳定下来。

LayerNorm则是通过对Hidden size这个维度归一化来让某层的分布稳定。

参考：Layer Normalization(LN) 层标准化 (为什么Transformer用LN)(手写手动实现LN)-CSDN博客