科研日记10.31-11.16

10.31

1、了解基本脑血管、脑肿瘤的基本知识并总结
计算机断层扫描（Computed Tomography, CT）
核磁共振成像（Magnetic Resonance Imaging, MRI）
CT 血管造影（CT angiography ,CTA）技术
肿瘤影像表现
肿瘤图像数据了解，（增强、模态）
脑肿瘤研究方向的了解：
（1）诊断（eg:自动确定肿瘤的边界）/鉴别诊断（GBM抗肾小球基底膜抗体检测和毛细胞星形细胞瘤鉴别）
（2）疾病进展预测和生存分析（鉴别假性进展和真性进展，通常肿瘤复发病灶的flair增强低于或等于T1增强的信号，而假性进展病灶的flair增强后信号 通常超过T1增强序列。）
（3）影像基因组学预测胶质母细胞瘤的基因突变（eg：表皮生长因子受体胞外结构域EGFRA289D/T/V的突变，确定IDH-1突变、MGMT甲基化状态的预测等，不同基因表达，图像表示方式不同）

脑血管病变：动脉粥样硬化斑块–>导致管腔狭窄–>最大强度投影图像上测量颅内动脉的狭窄程度
脑血管的成像技术：CT血管成像技术（CTA）、磁共振血管成像技术（MRA）、数字剪影血管造影技术（DSA）都不太行，目前 磁共振高分辨血管壁成像技术
影像表现：动脉狭窄
方向：颈部CTA图像，动脉粥样斑块中的易损斑块的自动检测、分型、斑块内成分的分析以及狭窄程度的自动判别

2、看《基于深度学习的脑影像分割》（需要解决的问题，目前存在的难点，本文的方法思想，目前的测试方法，评估标准，历史方法、本文的结果和存在的问题、有待提高的地方）

扩展阅读：
空洞卷积（多空卷积）：增大了感受野又不减小图像大小
条件随机场（CRF）：
一元势能函数和二元势能函数：
Internal Covariate Shift：此术语是google小组在论文Batch Normalizatoin 中提出来的，其主要描述的是：训练深度网络的时候经常发生训练困难的问题，因为，每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难（神经网络本来就是要学习数据的分布，要是分布一直在变，学习就很难了），此现象称之为Internal Covariate Shift。
batch norm 层：加速收敛和稳定
解卷积：空洞卷积或者转置卷积（常认为）
双线性插值：在两个方向分别进行一次线性插值

11.01

1、DA 数据集转换 gtFine

11.02

1、连接服务器
MobaXterm，软件的账密：12345678
zerotier one穿透：要点join：93afae5963b55efa
连接域名：账户密码：我的名字

2、论文阅读
《基于CTA图像的颈动脉分割算法研究_李焰宏》
1、自适应区域特征多种子点的区域生长法
多种子点自动更新：基于形态学的特征，比如圆形，面积等
自适应：迭代阈值法判断前景和背景，去除软组织
区域特征：利用区域灰度差进行区域生长+分叉特征

2、图像增强与区域特征相结合的分割方法。相对于上面即使某些断层分割失败，也不影响后续断层的分割
1、感兴趣区域ROI确定，计算颈动脉的中心和ROI区域的中心点坐标来自动更新，去除周围干扰
2、图像增强：hessian矩阵分析+与周围背景的相对亮度
3、边界提取：8邻域跟踪
4、连通区域特征筛选：根据图像特征，面积，位置，圆形度等筛选
（hessian矩阵的图像增强+边界提取和连通区域的特征分析）
采用不同的追踪方法–>获得感兴趣区域的中心点

需要解决的问题：
目前存在的难点：交叉阶段难以分辨，相似血管，扰动因素
目前的测试方法：
评估标准：
历史方法：
本文的结果和存在的问题：
有待提高的地方：

计算机辅助诊断脑胶质瘤关键技术研究_柳露艳

扩展阅读：
区域生长法: 找生长点，生长点和相似区域的相似性判断依据可以是灰度值、纹理、颜色等图像信息
hessian矩阵：
部分容积效应：CT本身的图像缺陷
分水岭分割法：

3、《机器学习》周志华第二章：评估方法

4、待完成：基于机器学习的脑梗死和脑出血：
做啥，解决的问题+标签，数据集，方法，精度

11.03

1、论文阅读：nature communications
Rapid vessel segmentation and reconstruction of head and neck angiograms using 3D convolutional neural network
背景，数据集，算法框架，做了啥（骨分割和血管分割），评估方法：DSC,V-Score,recall，贡献，对医疗工作的评估，展望（数据集的扩展+种类的扩展）
Methods：数据集准备

扩展阅读：
DSC：=2(A∩B)/ (A+B)
V-score：
VR：volume rendering 体绘图
MIP:maximum intensity projection 最大强度投影

论文阅读
Advanced machine learning in action: identification of intracranial hemorrhage on computed tomography scans of the head with clinical workflow integration
做啥：输出negative or positive ICH，即识别是否颅内出血，实时测试预测模型作为一个放射科工作流程优化工具。（临床实施）
标签：negative or positive ICH
数据集：46,583张脑CTs， 31,256病人，3w+三维头部CT
方法：图像预处理（增强对比度），随机水平和垂直平移图像增强，镜像，DNN训练输出0和1，医疗上通过输出结果改变医疗优先级和研究顺序
精度：accuracy of 84% (CI: 78–87%), sensitivity of 70%(CI:58–78%) and specificity of 87% (CI:82–91%).

An explainable deep-learning algorithm for the detection of acute intracranial haemorrhage from small datasets
做啥：从未增强的CT检测急性颅内出血(ICH)，并将其分为五种亚型，无出血，实质内出血(IPH)，脑室出血(IVH)，硬膜下出血(SDH)、硬膜外出血(EDH)或蛛网膜下腔出血(SAH),用彩色编码的注意力地图来表示。为了抵消病例不平衡，数据集太小，加入了多窗口转换，切片插值和实时数据增强的预处理。模拟放射科医师工作流程的迭代过程
标签：negative or positive ICH
数据集：904 cases(病人)
方法：预处理，数据增强，VGG167, ResNet-508, Inception-v39 和 Inception-ResNet-v210作为深度卷积网络
精度：mAP 0.858

Automated ASPECTS on Noncontrast CT Scans in Patients with Acute Ischemic Stroke Using Machine Learning
做啥：找到缺血区域，用不同颜色标出
数据集：257急性脑卒病人
方法：提取纹理特征，训练随机森林分类器
标签：专家的DWI评分
精度：相关系数0.76

Automatic Detection of Cerebral Microbleeds from MR Images via 3D Convolutional Neural Networks
做啥：用3D卷积神经网络找到脑微出血（CMBs）区域，并用方框标出
数据集：320 MR scans，1149个CMBs
方法：使用一种新的3D全卷积网络(3D FCN)模型检索少量候选对象，再使用3D CNN甄别模型对筛选阶段得到的候选人进行仔细甄别，这一阶段去除大量的假阳性候选，并给出最终的检测结果。
标签：1149个CMBs
精度：93.16%的高灵敏度，精度44.31%，个人的平均假阳性数FPavg2.74

Dense Multi-path U-Net for Ischemic Stroke Lesion Segmentation in Multiple Image Modalities
做啥：Dense Multi-path U-Net分割脑卒区域（主要是缺血性病变分割），多模态
方法：
数据集：ISLES提供的103例缺血性卒中病变多模态（DWI，CBF, MTT, CBV, Tmax and CTP source data）扫描
标签：手动训练集分割标注
精度：DSC (%) MHD (mm) VS (%)

影像表现：早期缺血性中风在CT上表现为低密度区域，很难用这种方法定位。MRI序列，如T1加权、T2加权、微弱反演恢复(FLAIR)和弥散加权成像(DWI)，提供了比CT更清晰的脑组织图像，是评估缺血性脑卒中病变位置和发展的首选模式。

11.04

1、了解Coco数据集，格式
2、搞清楚DA到底用的什么形式foggy那个数据集

11.05

1、论文阅读
“Rapid vessel segmentation and reconstruction of head and neck angiograms using 3D convolutional neural network” Nature communications
做啥：分割骨头和血管
方法：数据增强，ResU-Net+CGPM

数据集： 18,259 patients with 14,461,128 head and neck CTA scanning images
标签：分割和提取脑、颈部得vessels，消除伪影？？，提供重建图像
输出：VR, MIP, CPR, and MPR,每个类别（颅内动脉or颈动脉）得分
精度：骨头分割和血管分割DSC（0.975 and 0.944），V-score（−0.975 and −0.929） ，Recall（ 0.961 and 0.933）
overall ： 93.1%

2、Automated coronary artery atherosclerosis detection and weakly supervised localization on coronary CT angiography with a deep 3-dimensional convolutional neural network论文阅读
做啥：冠状动脉粥样硬化自动检测，将冠状动脉血管划分为正常/异常，并定位与动脉粥样硬化相关的鉴别区域，可视化
方法：3D-CNN，利用grade - cam
数据集： 247有斑块和246没有斑块的病人
输出：Grad-CAM生成的热图，系统能突出(定位)病变
精度：90.9%

扩展阅读
five fold cross-validation: 将原始数据分成K组(K-Fold)，将每个子集数据分别做一次验证集，其余的K-1组子集数据作为训练集，这样会得到K个模型。这K个模型分别在验证集中评估结果，最后的误差MSE(Mean Squared Error)加和平均就得到交叉验证误差。
Grad-CAM technique : CNN的可视化，生成热图，系统能突出(定位)病变

3、Hybrid 3D/2D Convolutional Neural Network for Hemorrhage Evaluation on Head CT
做啥：在NCCT上检测和分割实质内、硬膜外/硬膜下和蛛网膜下腔出血，量化出血量
方法：Mask RCNN+3D卷积网络
数据集： 512,598 NCCT images
标签和输出：都是bbox
精度：IPH, EDH/SDH, and SAH segmentation ，0.931, 0.863, and 0.772

4、White matter hyperintensity and stroke lesion segmentation and differentiation using convolutional neural networks NeuroImage: Clinical
做啥：分割出WMH，区别出WMH和stroke
方法：提出了uResNet，在交叉熵上加入一个权重参数解决病例类别不平衡的问题
数据集： 167张图 来自：http://www.bric.ed.ac.uk
标签和输出：
精度：

5、Classification of calcified regions in atherosclerotic lesions of the carotid artery in computed tomography angiography images Neural Computing and Applications 2020

做啥：颈动脉CTA图像分类，是否有钙化。
方法：二阶段分法，首先，用高斯，sigmoid和mean filters等滤波器提取特征，之后，从特征中去除离群值，确定代表钙化成分的候选区域。提取的特征加原始图片进入分类器分类（分类器：SVM加RBF，sigmoid,linear 和polynomial kernels等组合）确定与真实钙化相对应的区域。（进一步判断是否钙化）
数据集：230张CTA图像，GT由人手工描绘轮廓，GT来自于micro-CT images
精度：Spearman相关系数平均值大于0.80

扩展阅读
1、RBF神经网络和BP神经网络有什么区别？
2、outliers removal approach
3、spearman相关系数
4、boxplot analysis

11.09

1、论文阅读
"Brain Hemorrhage Diagnosis by Using Deep Learning" ICMLSC 2017
主要内容：（LeNet, GoogLeNet, and Inception-ResNet）卷积神经网络识别脑出血区域，在ImageNet上与训练的模型也可以直接用
难点和不足：数据集太少，没有进一步找出部位等，强调结果，没有进一步展示方法。
方法：1、数据预处理和增广（去除冗余信息，旋转，调节亮度）
2、直接在现有的网络里训练
数据集：100例，每例20片
标签和输出：0/1 是否有出血
精度：0.997, 0.982, and 0.992

2、论文阅读
Construction of a Machine Learning Dataset through Collaboration: The RSNA 2019 Brain CT Hemorrhage Challenge Radiology:Artificial Intelligence 2020，kaggle比赛
主要内容：RSNA挑战数据集的建立。在这个挑战中，参赛者要预测给定图像中是否存在出血，以及出血的类型。
数据集：https://www.kaggle.com/c/rsna-intracranial-hemorrhage-detection/data?select=rsna-intracranial-hemorrhage-detection
标签和输出：是否存在出血以及出血的类型，可能性
评估方式：加权平均柱状对数损失

3、论文阅读
基于 U-Net 的颅内出血识别算法 2020.6北京邮电大学学报
主要内容：脑实质分割，脑出血识别，血块区域三维建模，对患者的出血量作出评估。
难点和不足：1、识别结果中的假阳性识别率偏高， 对于如钙化灶等其他病灶未能作出准确的区分
2、三维建模插值算法尚不完善， 断层信息补全不够准确
方法：
1、基于 U-Net分割得到的脑实质区域的初步轮廓， 用二值化图像表示; 最后经过局部差分轮廓修补得到准确的脑实质区域
2、脑出血：根据血块的HU值统计学特征初筛出血区域，再计算初筛区域的密度平均值进一步筛选，再膨胀溶蚀。
数据集：500 例颅脑 CT
精度：97. 4%

4、论文阅读
基于改进的FCM模糊聚类的颅内出血CT图像分割研究
主要内容：颅内出血分割
难点和不足：考虑空间信息，对噪声的敏感度
方法：首先对颅脑CT图像进行预分割，通过左右扫描算法和中值滤波算法将颅内结构从源CT图像中提取出来，再利用添加空间信息的改进FCM（模糊C-均值）聚类算法进行出血病灶提取。

5、论文阅读
基于曲线演化的脑出血 CT 图像分割算法研究
主要内容：脑出血分割
难点和不足：样本数目太少，出血区域存在边缘模糊，灰度不均匀，区域存在空洞
方法：1、预处理：格式转换，去噪，颅内部分提取（形态学中的膨胀操作与中值滤波相结合），数据增广
2、Faster R-CNN 的疑似血肿区域检测，并对所有的检测结果进行 ROI 提取
3、基于 LPSPF 水平集方法的血肿形态分割
数据集：28例，原始图片365张
标签和输出：出血块

扩展阅读：水平集方法

11.10

1、论文阅读
Automated segmentation and quantification of aortic calcification at abdominal CT: application of a deep learning‑based algorithm to a longitudinal screening cohort
主要内容：Mask-Rcnn分割腹部的动脉粥样硬化区域，用来确定人口水平上正常的年龄和性别相关差异
难点和不足：
方法：1、用COCO预训练模型，加以斑块标签的微调，对于困难样本用k-means聚类，第二个Mask R-CNN是通过微调第一个再训练Mask R-CNN模型与斑块和聚集假阳性。
数据集：882 病人

2、论文阅读
Locate the Superficial Femoral Artery with Occlusion by Deep Neural Network Correcting Interpolation
主要内容：SFA的定位
难点和不足：人力大，不能单独定位
方法：该方法首先在一定间隔上选取控制点进行双三次插值，然后将插值结果生成的图像斑块反馈给深度神经网络(DNN)进行校正，得到血管中心点
数据集：59个病人，21804 slices
精度：2像素(1.4 mm)以内，类似于手动标注

扩展学习
Bicubic Interpolation 双三次插值算法
理解3D CNN及3D卷积
深度学习之3D全卷积神经网络
FPN网络详解
目标检测的FPN和Unet有差别吗?

11.13

1、论文阅读
Learning Adversarially Enhanced Heatmaps for Aorta Segmentation in CTA
2019 IEEE International Conference on Imaging Systems and Techniques (IST)
主要内容：主动脉分割，主要强调GAN生成的热图对分割性能的提升
方法：1、用GAN生成主动脉区域的热图
2、热图与原图融合，再进一步用分割网络分割，并对比了不同分割网络的性能
数据集：111 CTA volumes，接近80000片
标签和输出：都为二值图
精度：Deeplabv + resnet18 88.7%（最大），GAN 平均提升了1.77%

11.15

1、论文阅读
Towards Clinical Diagnosis: Automated Stroke Lesion Segmentation on Multi-Spectral MR Image Using Convolutional Neural Network IEEE Access 2018
主要内容：MRI脑卒病灶的分割
难点：病灶太小带来的类别不平衡问题
方法：
1、将原图切割成一个个patch来训练，再设计特定的损失函数来解决 类别不平衡的问题
2、提出Res-FCN网络来进行病灶的分割
数据集：212例临床获得MRI图像，用ISLES比赛的数据集验证
标签和输出：二值图像
精度：Dice系数0.645，

扩展阅读：
brain tumor segmentation (BraTS) challenge ，MICCAI比赛，肿瘤分割比赛
ischemic stroke lesion segmentation (ISLES) 2015-2018 challenge，缺血性脑卒分割比赛