星海泛舟记

转载自：https://blog.csdn.net/tsyccnh/article/details/79163834 关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够

Dilation of Conv

本文是一篇ICLR2020的文章文章地址：http://xxx.itp.ac.cn/abs/2002.07442Open Review:https://openreview.net/forum?id=SJeLopEYDHBackground对于视频分类、动作识别等任务来说，如何简洁、高效地建模时序信息一直是重要的研究问题。3D-CNN的提出虽然提供了一个时序建模的方案，但是它的运算...

Inception 系列的发展与区别从Inception v1到Inception-ResNet，一文概览Inception家族的「奋斗史」 - 机器之心的文章 - 知乎https://zhuanlan.zhihu.com/p/37505777Inception V1:采用了多尺寸卷积核提取特征后融合的“加宽”设计。采用了两条辅助的中间层softmax分类器，用以改善梯度消失的问题...

> 参考：CNN系列模型发展简述（附github代码——已全部跑通） - KevinCK的文章 - 知乎 https://zhuanlan.zhihu.com/p/66215918演变LeNet：2个卷积3个全连接，最早用于数字识别AlexNet：12年ImageNet冠军，5个卷积3个全连接，多个小卷积代替单一大卷积；使用...

CNN在图像上表现好的原因相比于手工特征，CNN可以采用数据驱动的方式学习特征提取，能够提取到更好更丰富的特征。深层网络可以拟合更复杂的计算，从而提取更复杂更抽象的特征。相比于普通深度神经网络，卷积核共享参数，充分利用图像上的空间局部性，因此具有参数共享和稀疏连接两条优点，不容易过拟合。CNN中的池化层还使网络具有平移不变性的特性。参数共享： 不同图像区域用的卷积核共享一...

Attention是一种近年来较为流行的机制，广泛地在自然语言处理、计算机视觉等领域应用。它的作用机制易于人类理解——给重要区域更多的注意力。但是，如何判断什么是“重要”的？注意力又是如何影响决策的？本文将尝试细致理解Attention机制及其几个典型变种，以期真正理解attention机制并得以在今后灵活运用和改进。

年末老师组织几个课题组进行了2019年的总结，总结了一下科研过程中的经验与习惯，这里做一个整理。内容包括：关于创新点寻找、关于论文阅读、关于实验部分、关于合作、关于rebuttal。

这篇文章提出了一种Co-Segmentation Inspired Attention模块，用于专注于视频中的人像主体，忽略背景信息的干扰。本质上这是一篇将non-local模块，或是temporal self-attention机制应用于video-reid的文章，但相较于其他应用non-local在video-reid的文章来说，它的分析较为详尽。

在掠读ICCV2019论文集的过程中，读到[Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning]，觉得这篇文章在写作上写的很漂亮，并且把 Denoise 问题的脉络介绍的详细清晰。因此在这里基于这篇文章对 Denoise 做一个领域梳理。...

SegNet用于做图像语义分割。比以往神经网络要训练参数更少、速度更快、memory需求更低。Architecture总体上是encoder-decoder的结构。 encoder采用了与VGG16网络相同的13层卷积层，decoder由上采样和卷积层构成。 每一个encoder和一个decoder对应。

本文主要是在阅读Caffe Tutrorial的过程中做的笔记，精要地提取了要点。

Batch Normalization 提出自《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》。其效果主要是加速网络收敛速度，并简化超参数的调节。