目标:低分辨率图提取同类细胞的共性特征(小类间距)和个性特征(大类间距)。
①将LR变为HR再提取特征。类比多帧超分辨率提取不同帧的互补信息进行图像的重构。
②实验:红细胞裂解,提取出白细胞,全息恢复(插值4倍)进行特征提取。
样本:正常白细胞和制造异常的白细胞或死细胞。
一个好的思路:利用CNN和其它特征混合进行特征提取,比如 CNN 和 Gabor 特征融合识别。PCA方法(数据降维)、LBP方法(二值化图谱)
1.1全局特征
PCA主成分分析法原理:高维向量V,通过特殊的特征向量矩阵M,投影到另一个低维度向量空间,变成向量y。
PCA融合出来个图进行训练。(丢失一些次要信息)
1.2局部特征
LBP特征:表示灰度图像局部纹理的算子。有矩形结构的、圆形的。有旋转不变均匀LBP模式。局部算子处理,对全局特征表征较差,有人提出局部梯度模式(LGP)算子。
1.3深度学习
随着层数的增加,cnn难以优化,会出现梯度弥散现象,但是使用残差网络可以解决这个深度问题,同样在宽度上也有类似问题,会出现梯度爆炸的问题。过窄容易导致特征提取不足。
特征叠加还是打包成特征库。
医学图像检索,特征参数的提取,对比范围。
多深度特征融合模型协作Boosting AdaBoost算法是改进的分类机器学习算法,针对不同样本的不同特征,分别训练不同的分类器,将弱分类器构建成强分类器的算法。
1 白细胞形态学特征:计算细胞核和细胞质的面积、周长、细胞核分叶数、细胞核圆度、细胞核椭圆度、细胞浆面积、细胞面积、细胞核与细胞面积的比。
2灰度特征:灰度均值、最大值、最小值、均方差。
3纹理特征:灰度共生矩阵方法
不均匀光照补偿方法:将整幅图像进行块分割,小块的像素平均灰度与整图的平均灰度相减,然后小块灰度原图减去差值,使光照均匀。自适应阈值分割:小块选取各自的阈值,然后进行分割合并。
三维立体图:
随机森林、使用keras 加入残差网络,自动编码器
参考论文1:
基于深度学习的医学影像多特征融合分类算法研究-武汉理工大学 导师-阙大顺
级联的特征融合方式-目前深度学习的特征融合方法仍以串联拼接为主,忽略了不同特征之前的关联性和差异性,本文设计的卷积神经网络级联融合层既能够有效融合多特征的信息。
手工特征(纹理传统算法)和神经网络自学习特征(自学习能力强),由于纹理特征为手工制作的低阶特征,具有一定的局限性,不能完全描述图像的信息,而由深度学习引入的深度特征凭借深度神经网络的优异自学习性能,可以从图像中学习到手工特征无法设计出的高阶特征,这对进一步刻画肿瘤信息提供了有力的帮助。
神经网络分类:实现了低维图像的高维特征展开(softmax),以及利用高维特征学习对低维图像的识别。
深度特征可视化图对比分析。
多分类问题:
参考:http://www.xctmr.com/tech/science/2009-06-17/4803.html 医学图像融合方法
参考论文2:基于层次式优化的多幅眼底图像融合方法 -福州大学 魏丽芳 余 轮
目标:针对眼底图像配准后直接叠加产生的接缝及如何保证多幅图像融合后细节信息不丢失的问题,提出层次式优化的多频带眼底图像融合方法。
方法:通过多阈值分割获取掩模图像并计算其欧式距离得到各层次图像蒙版; 根据欧氏距离值及拉普拉斯能量和设计每层蒙版图像的改进加权系数。
最后利用配准误差及重叠率对图像序列进行分组融合后进入下一层,对于奇数幅图像序列中没有组合的图像直接放入下一层。再根据分组规则重新分组进行优化融合,实现层次式的多幅眼底图像优化融合。
融合的前提:图像配准。
待融合的两张图,若在重叠部分,简单的两幅图叠加会产生图像模糊和拼接的痕迹。无法满足人的视觉要求。
图像融合的主要思想是实现图像在衔接处平滑过渡。
多幅图像还需要考虑目标图像生成过程中产生的误差累积及目标图像越来越大导致计算量越来越大的问题。
无监督学习:常见的无监督 学习算法有自编码器,生成对抗网络等。
生成对抗网络:通过学习真实图片的分布,并从学习到的分布中采样而获 得逼真度较高的生成图片。