weixin_40620310的博客

FCN：语义分割端到端训练的开端；U-Net：医学分割算法中的龙头；SegNet&DeconvNet：对称的编解码结构；DeepLab系列：从V1到V3+，算法越来越完善，效果越来越好；GCN：从另一角度思考，重新使用大卷积核；DFN：从另一角度思考，宏观角度看待语义分割；实际上分割的很多思想是借鉴了分类和检测的，分割任务本质也是对像素点的检测和分类；所以其中很多思想是值得去学习和思考的，针对场景和数据集的不同，模型的选型和设计也需要做出改变；

深度学习从2015年发展到现在，模型也在不断地迭代优化；现在许多新的模型往往是站在巨人的肩膀上，在这里想记录下baseline模型发展的一个历程，以及不断更新的内容；不会将模型的每一层剖开来将，而是将关键的创新点进行重点记录，当然也包括了一些个人理解和思考，如果有不对或者不全的地方欢迎沟通，也希望在以后工作中不断完善对模型的理解；BaseLine指的是什么呢？通常我们又称BaseLine模型为分类模型，往往入门都是用它来实现一个分类任务。但这些模型不仅仅出现在分类任务中，而是整个CV领域的基石。在后面接触到

Normalization总结一、BN全称：Batch Normalization背景：随着深度学习网络越来越深，发现深层网络训练起来困难，效果也并没有很好；这里存在一个问题：内部协变量偏移，也就是每一层的参数变化会影响下一层的参数变化；计算公式：注意：会用到两个参数γ和β，也是在训练时候进行学习的，推理的时候只需要用全局的均值和方差即可；作用：引入BN层之后，将各个层之间都进行标准化，起到一个解耦的作用；优点：1、提升训练速度，加快收敛过程；2、起到一个正则化的作用，提升分类效果

深度学习之损失函数小结开篇损失函数在深度学习中的作用相当于引领模型学习的方式，其重要程度不言而喻；下图为一些损失函数的关系：Sigmoid和Softmax损失Sigmoid公式：S(x)=11+e−xS(x)=\frac{1}{1+e^{-x}}S(x)=1+e−x1​Softmax公式：S(xj)=exj∑k=1Kexk,j=1,2,…,KS\left(x_{j}\right)=\frac{e^{x_{j}}}{\sum_{k=1}^{K} e^{x_{k}}}, j=1,2, \ldots

深度学习之激活函数小结激活函数的作用和意义：引入非线性，增加网络表达能力；基本激活函数介绍首先看一下一些常见的激活函数：Sigmoid：总结：第一个出现的激活函数，存在以下问题，所以后面基本不使用了1、梯度消失的情况2、不是以0为对称中心（梯度下降比较慢）3、计算公式相对复杂，比较慢tanh：总结：为了解决Sigmoid中不以0为对称中心的问题，但还是没能解决梯度消失的问题；ReLU：总结：最经常使用的激活函数，计算简单，小于0的情况下神经元会失活；Leaky Re