论文阅读：基于深度学习的肺肿瘤PET-CT图像融合

3. 基于协同学习机制的 CNN 肺肿瘤图像融合

---

3.1 网络架构

---

三部分：

• 两个独立的编码器
• 协同学习与融合模块
• 图像重建部分

3.1.1 特定模态编码器

---

编码器：
（卷积层×2+最大池化层）×3

每一 次卷积后都进行以 0 为均值，单位方差分布的归一化。
归一化之后再使用 LeakyReLU 函数进行激活。

卷积层输出：
$$F=LeakyReLU(W\ast X+b)$$

3.1.2 协同学习CNN激活函数

---

ReLU
LeakyReLU

3.1.3 协同学习CNN损失函数

---

交叉熵损失函数

$$e=-[ylog(p)+(1-y)log(1-p)]$$

3.1.4 多模态特征协同学习和融合模块

---

（1）协同学习

两部分：
协同学习单元
融合操作

$F_{CT}:w\ast h\ast c$
$F_{PET}:w\ast h\ast c$
穿插堆叠：$X_{multi}:w\ast h\ast 2c$
卷积核：$j\ast j\ast m$，m是模态数=2

融合图计算公式：
F f u s i o n = L e a