ARYAD的博客

该知识点中，我们首先介绍生成对抗网络GAN的主要模型架构——生成器和鉴别器。其次，我们介绍GAN的损失函数以及相关的训练过程。

1.准确率ACC：overall：准确率是分类正确的样本占总样本个数的比例，即其中， ncorrect​为被正确分类的样本个数， ntotal​为总样本个数。结合上面的混淆矩阵，公式还可以这样写：y_pred = [0, 2, 1, 3]y_true = [0, 1, 2, 3]print(accuracy_score(y_true, y_pred)) # 0.5print(accuracy_score(y_true, y_pred, normalize=False)) # 2

针对backbone的分类网络具有Resnet系列、Densenet系列、Inception系列，常借助辅助手段（FPN、attention、决策树、lasso等）提高模型性能其中Resnet50v2 和 covidnet在四分类中取得不错的效果。1.数据集2.评价指标基于分类任务的常见评价指标：召回率（recall）、精准率（precision）、特异性（specificity）、准确率（accuracy）、FI-score、ROC曲线和AUC指标。3.模型Deeplearning enab

Channel AttentionSqueeze-and-Excitation NetworksSENet的高效率主要来自于2个模块：（1）squeeze：global pool将w*h压缩到了1减少了后续操作中对spatial维度的计算和参数。（2）excitation：通道维度先降再升如果直接用一个c->c的FC，那么参数为c2；如果先降再升用两个FC，那么参数为(c2)/r+(c**2)/r，原文中r=16，那么参数就变为了一个FC的1/8.（为什么r=16？？？）Selec

常用医学数据增强算法传统数据增强算法mix up数据增强Samplepairing数据增强是对训练样本的各种有章法的变换，这就使得模型能够学到图像更本质的特征，增强模型对样本细微变换的适应性，减弱对变化的敏感。传统数据增强算法通过对图片进行针对图像整体的物理几何变换：翻转、平移、放大、缩小等。还有针对图像像素增加噪声的增强方法：高斯噪声、椒盐噪声等。这些传统数据增强算法作用有限，尤其是针对复杂模型，收效甚微。mix up数据增强该算法由Facebook人工智能研究院于2018年提出，发表在《m

初次复现Medical Image Synthesis for Data Augmentation and Anonymization using Generative Adversarial Networks文章，但是并没有用pix2pix的分割模型，而是使用Unet分割利用pix2pix合成的brats数据集。但是发现原本的Unet模型bceloss效果并不好，val的dice值很低。就开始踏上了炼丹之路。论文地址:https://arxiv.org/abs/1807.102251.学习率找到最

残差网络（Residual Networks, ResNets）什么是残差（residual）？实际观察值与估计值之间的差。什么是残差网络（Residual Networks，ResNets）？① Deeper is better？在训练集上，并不一定这样。随着层数增多，会产生退化问题。随着网络越来越深，训练变得原来越难，网络的优化变得越来越难。理论上，越深的网络，效果应该更好；但实际上，由于训练难度，过深的网络会产生退化问题，效果反而不如相对较浅的网络。而残差网络就可以解决这个问题的，残差

根据UNet的结构，它能够结合底层和高层的信息。底层(深层)信息：经过多次下采样后的低分辨率信息。能够提供分割目标在整个图像中上下文语义信息，可理解为反应目标和它的环境之间关系的特征。这个特征有助于物体的类别判断（所以分类问题通常只需要低分辨率/深层信息，不涉及多尺度融合）高层(浅层)信息：UNet共进行了4次上采样，并在同一个stage使用了skip connection，而不是直接在高级语义特征上进行监督和loss反传，这样就保证了最后恢复出来的特征图融合了更多的low-level的feature，

U-net论文：《U-Net: Convolutional Networks for Biomedical Image Segmentation》提交日期：2015年5月论文链接：https://arxiv.org/abs/1505.04597v1U-net 是基于FCN的一个语义分割网络,适合用来做医学图像的分割。U-Net是比较早的使用全卷积网络进行语义分割的算法之一，论文中使用包含能够捕获上下文语义的压缩路径和可实现精确定位的扩展路径的对称U形结构。特点：从很少的图像端到端地进行训练，且优于

1.端到端学习？传统的图像识别问题：将过程分解为预处理，特征提取和选择，分类器设计等若干步骤。优点：把复杂的问题分解为简单、可控且清晰的若干小的子问题。缺点：尽管可以在子问题上得到最优解，但子问题上的最优解并不意味着就能得到全局问题的最后解。深度学习图像识别（提供了一种端到端的学习范式）：整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据到期望输出的映射。对深度模型而言，其输入数据是未经人为加工的原始样本形式，后续则是堆叠在输入层上的众多操作层，这些操作层整体可以

卷积和全连接卷积层的特点：稀疏连接，权值共享全连接层的特点：每个神经元都和上一层的所有神经元相连接两者的共同点：都是由上一层的输出与参数矩阵相乘从而得到下一层的输入所以我们得以得到结论，全连接层和卷积层实际上是可以相互转换的。举个例子：最后一个卷积层的输出为 77512，即每个 feature map 的大小为 77，共有 512 个 feature map，然后通过一个全连接层得到了 11*4096 的输出，如下图所示：全连接到卷积将全连接层转换为卷积层的关键就在卷积核参数的设置上，仍然

作者：我爱机器学习链接：https://zhuanlan.zhihu.com/p/22094600来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。CNN的发展史上一篇回顾讲的是2006年Hinton他们的Science Paper，当时提到，2006年虽然Deep Learning的概念被提出来了，但是学术界的大家还是表示不服。当时有流传的段子是Hinton的学生在台上讲paper时，台下的机器学习大牛们不屑一顾，质问你们的东西有理论推导吗？有数学基础吗？搞得过SVM

传统的图像识别问题：将过程分解为预处理，特征提取和选择，分类器设计等若干步骤。优点：把复杂的问题分解为简单、可控且清晰的若干小的子问题。缺点：尽管可以在子问题上得到最优解，但子问题上的最优解并不意味着就能得到全局问题的最后解。深度学习图像识别（提供了一种端到端的学习范式）：整个学习的流程并不进行人为的子问题划分，而是完全交给深度学习模型直接学习从原始数据到期望输出的映射。对深度模型而言，其输入数据是未经人为加工的原始样本形式，后续则是堆叠在输入层上的众多操作层，这些操作层整体可以看作一个复杂的函

在做视觉分类问题的过程中有个问题一直困扰着我：1.CE和BCE 分别是针对何种分类任务？2.在做具体的任务时如何区别的使用他们？3.分类标签对于不同的多分类任务，是选择普通标签还是one-hot标签？这和loss选择有关么？损失函数公式定义区别由于softmax输出的概率值和为1，网络的优化方向是提升对 y=1 的分类能力，自然其它类别的预测得分就会下降，因此不必担心假阳性的预测得不到改善。类别间是否互斥问题在分类问题中，如果遇到类别间不互斥的情况，只能采用“sigmoid+BCE”；如