一、上周工作
二、本周计划
论文初稿
三、完成情况
3.1 网络退化与梯度消失的关系
改摘要的时候出现的概念不清晰
3.1.1 定义
网络退化：在增加网络层数的过程中，训练误差出现上升，也就是模型性能下降。到达某个层时已经达到最优化的网络结构，如果继续增加层数，模型性能会下降。它不是由过拟合产生的，而是由冗余的网络层学习了不是恒等映射的参数所造成的。
实际上较深模型后面添加的是一些非线性层。
——>退化问题也表明了：通过多个非线性层来近似恒等映射这可能是比较困难的。
梯度消失：对于深层网络，由于参数初始化一般更靠近0，在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。
3.1.2 深度网络所带来的退化问题，探究其可能的原因
1）梯度消失和梯度爆炸
随着网络层数增加，梯度可能会逐渐变小/变大，导致梯度消失/梯度爆炸。
这会使得网络无法进行有效的参数更新，从而导致模型性能的下降。
2）过拟合
当网络层数增加时，模型复杂度也会增加，这容易在训练数据上过度拟合，使得模型在测试集上表现不佳。
3）有效特征表示的缺失
深度网络中会更关注高级特征的学习和表达，这可能导致缺失了一些有效的低级特征的表征能力。
因此实际上，网络退化问题 > 梯度消失问题。梯度消失只是网络退化的一个原因
3.2 LaTex常用符号
\markboth{}{}：声明栏外标题。第一个参数包含期刊名称信息，第二个参数包含作者姓名和论文标题。第二个参数只用作双面期刊论文扉页后奇数页的页眉。
\IEEEmembership：用于生成斜体字体，表示作者的 IEEE 会员身份。
\begin{环境名称，例如摘要、关键字...}
内容
\end{环境名称}
\section{title} %%节
\subsection{title} %%小节
\subsubsection{title} %%小小节
有序列表 ：
\begin{enumerate}\item tile1
\item title2\item title3
\end{enumerate}
若为无序列表，将enumerate改为itemize。
字体：
\textrm{hello}%%罗马
\textsl{hello}%%倾斜
\textbf{hello}%%加宽加粗\rm{hello}%%正体
插图：
\begin{figure}[htbp]
\centering %%居中
\includegraphics[选项]{文件名}
\caption{...}
\label{...}
\end{figure}
行内公式需要由一对 $ 符号包裹 。
行间公式由equation环境包裹。equation环境会为公式自动生成一个编号。可以用 \notag 命令取消公式编号。用 \tag 命令手动修改公式的编号。
分式： \frac {分子}{分母}
根式： \sqrt [次数]{数字}
求和：\sum_{}^{}
空心：\mathbb{}，仅英文大写字母有效
单个字母上面加横线：\bar{A}
单个字母上加小帽子：\hat{a}
单个字母上加小波浪：\tilde{a}
等式换行：&=
3.3 学习中发现了论文的新思考点：全局与局部
密集连接它的每一层都可以访问前面所有的特征图，即可以访问网络的全局知识。如果将特征图看作网络的全局状态，其中增长率k用于控制了每一层向全局状态所添加的新信息的数量。因此每一层都会将自己的k个特征图添加到全局状态中。
CBAM：关注重要的部分，即局部知识。
3.4 其余工作
生成正演图、修改网络架构以适应SEG盐数据、论文初稿
四、存在的主要问题
看了DenseNet这篇论文的相关工作这一部分后，发现自己论文中写的相关工作部分有点问题，紧密度不高。后续会从问题本身去思考，如从网络深度、特征复用入手？
五、下一步计划
看论文
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
