2020年12月_呆呆象呆呆

12月 11月 10月 08月 07月 06月 05月 04月 01月

原创 python import 上级目录

有时候我们可能需要import另一个路径下的python文件，例如下面这个目录结构dirconfig.py --subdir(CSNET) train.py --subdir(NETWORKS) lstm.py我们想要在CSNET文件夹中train.py里import在NETWORKS目录下的lstm.py和上级目录下的config.py。使用sys库添加路径import syssys.path.append("..")from networks.lstm import *fr

2020-12-30 10:02:34 1691

原创论文写作（2）：一些latex模板的问题解决

一些latex模板的问题解决文章目录一些latex模板的问题解决1、关于引用文献的问题1.1 参考文献的风格样式设置（自带的8种模式）2、LATEX自动调整单词换行3、LATEX自定义bst文件4、Elsevier的Latex双栏模板图片表格等问题4.1双栏图片中caption标题无法左对齐4.2 双栏插入表格和图片没有办法使用label4.3 Elsevier期刊Latex模板图片及表格Caption的修改6、Elsevier的Latex模板的使用举例7、LATEX的常用包模板（自己写文档的时候用比较方

2020-12-29 10:36:57 2175

原创论文写作（1）：CRediT authorship contribution statement怎么写

CRediT authorship contribution statement怎么写数据搜集acquisition of data学习概念与设计Conception and design of study数据分析和/或解释analysis and/or interpretation of data起草手稿Drafting the manuscript批判性地修改手稿，以获得重要的知识内容revising the manuscript critically for im

2020-12-29 09:14:26 24852

原创论文笔记（10）：Attention Is All You Need

Attention Is All You Need2017NIPS Google背景Attention机制最早在视觉领域提出，2014年Google Mind发表了《Recurrent Models of Visual Attention》，使Attention机制流行起来，这篇论文采用了RNN模型，并加入了Attention机制来进行图像的分类。2015年，Bahdanau等人在论文《Neural Machine Translation by Jointly Learning to Align a

2020-12-23 19:37:21 2083

原创论文笔记（9）：Non-local neural networks

Non-local neural networksCVPR2018摘要卷积运算和递归运算都在构建中每次阻塞一个本地社区。在在本文中，我们将非局部操作作为通用操作捕获远程脱靶的一系列构件 dencies。灵感来自于经典的非本地方法 [4]在计算机视觉，我们的非本地操作计算作为特征的加权和的位置上的响应在所有位置。这个积木可以插进去许多计算机视觉架构。关于视频任务分类，即使没有任何的花哨，我们的非本地模式可以竞争或胜过当前的竞争动力学和字谜数据集的赢家。在静态在图像识别中，我们的非局部模

2020-12-22 20:27:03 2116 3

原创论文笔记（6）：Dual Attention Network for Scene Segmentation

Dual Attention Network for Scene SegmentationCVPR 2019 语义分割（Object Detection）研究背景问题：为了有效地完成场景分割的任务，我们需要区分一些混淆的类别，并考虑不同外观的对象。例如，草原与牧场有时候是很难区分的，公路上的车也存在尺度、视角、遮挡与亮度等的变化。因此，像素级识别需要提高特征表示的识别能力。In order to accomplish the task of scene segmentation eff

2020-12-21 23:19:16 1949

原创论文笔记（8）：CBAM: Convolutional Block Attention Module

CBAM: Convolutional Block Attention ModuleECCV20181、介绍CBAM的中文名字是基于卷积块的注意机制，从结构上来看，它结合了空间注意力机制和通道注意力机制，从效果上来看，它能提高分类和检测的正确率。2、模型结构总体结构输入的Feature map维度为RB∗C∗H∗W\mathbb R ^{B*C*H*W}RB∗C∗H∗W（各维度代表BCHW），经过通道注意力机制之后先得到Channel Attention Module维度为RB∗C∗1

2020-12-21 19:38:45 1724

原创论文笔记（7）：BAM: Bottleneck Attention Module

BAM: Bottleneck Attention ModuleBMVC 2018 (oral)，是CBAM的姊妹篇，原班人马打造。摘要在这项工作中，把重心放在了Attention对于一般深度神经网络的影响上，提出了一个简单但是有效的Attention模型—BAM，它可以结合到任何前向传播卷积神经网络中，模型通过两个分离的路径 channel和spatial，得到一个Attention Map，实验验证了算法的有效性。网络结构图将BAM放在了Resnet网络中每个stage之间。有趣的是，通过

2020-12-21 15:46:49 2722

原创 Attention学习系列（1）：人脑与视觉中的注意力机制

注意力的定义描述注意力是一个心理学概念，属于认知过程的一部分，是一种导致局部刺激的意识水平提高的知觉的选择性的集中。在与人类意识有关的许多认知过程（决策、记忆、情绪等）中，注意被认为是最具体的，由于它与知觉的关系非常密切。注意力是在突触水平上进行操作，提高对输入信号的敏感性，并锐化这些信号的精确度，选择性地提高吸引注意力信息的传输，同时降低噪音水平，或干扰注意力信息的传输。注意力能通过选择性改变突触的“权重”，强化所有包括噪音在内感觉输入的感官特征，从而重塑神经感觉。注意力是一个用来分配有限的信息处理

2020-12-19 16:29:39 7933 1

原创论文笔记（1）：Look Closer to See Better:Recurrent Attention Convolutional Neural Network for Fine-grained

Look Closer to See Better:Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition2017CVPR 微软亚洲研究院梅涛研究员等人 Ora背景在图像识别领域，通常都会遇到给图片中的鸟类进行分类，包括种类的识别，属性的识别等内容。为了区分不同的鸟，除了从整体来对图片把握之外，更加关注的是一个局部的信息，也就是鸟的样子，包括头部，身体，脚，颜色等内容。至于周边信息，例

2020-12-19 15:01:17 3569 5

原创【文献阅读与想法笔记4】Recurrent Models of Visual Attention

Recurrent Models of Visual Attention2014 NIPS背景模拟人类看东西的方式，我们并非将目光放在整张图像上，尽管有时候会从总体上对目标进行把握，但是也是将目光按照某种次序（例如，从上倒下，从左到右等等）在图像上进行扫描，然后从一个区域转移到另一个区域。这么一个一个的区域，就是定义的part，或者说是 glimpse。然后将这些区域的信息结合起来用于整体的判断和感受。站在某个底层的角度，物体的显著性已经将这个物体研究的足够透彻。本文就是从这些东西上获得了启发，提出

2020-12-18 20:36:11 1839 2

原创【文献阅读与想法笔记3】Residual Attention Network for Image Classification

Residual Attention Network for Image Classification2017CVPRMotivationAttention模型在图像分割和图像显著性检测方面的应用比较多。它的出发点是将注意力集中在部分显著或者是感兴趣的点上。其实卷积网络本身就自带Attention效果，以分类网络为例，高层feature map所激活的pixel也恰好就是滤波得出有较大的反应的区域，即为在分类任务相关的区域。本文的思想也就是利用这种attention机制，在普通的ResNet网络中，

2020-12-17 23:19:20 1608

原创【文献阅读与想法笔记2】Squeeze-and-Excitation Networks

0、摘要卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。为了提高网络的表示能力，许多现有的工作已经显示出增强空间编码的好处。在这项工作中，我们专注于通道，并提出了一种新颖的架构单元，我们称之为“Squeeze-and-Excitation”（SE）块，通过显式地建模通道之间的相互依赖关系，自适应地重新校准通道式的特征响应。通过将这些块堆叠在一起，我们证明了我们可以构建SENet架构，在具有挑战性的数据集中可以进行泛化地非常好。关键的是，我们发现SE块以微小的计算

2020-12-16 23:24:09 1482 1

原创【文献阅读与想法笔记1】Spatial Transformer Networks（STN）

Spatial Transformer Networks（STN）15年NIPS这篇文章通过注意力机制，将原始图片中的空间信息变换到另一个空间中并保留了关键信息。思想非常巧妙，因为卷积神经网络中的池化层（pooling layer）直接用一些max pooling 或者average pooling 的方法，将图片信息压缩，减少运算量提升准确率。作者认为之前pooling的方法太过于暴力，直接将信息合并会导致关键信息无法识别出来，所以提出了一个叫空间转换器（spatial transformer）的

2020-12-16 21:26:04 1904

原创通用近似定理（学习笔记）

通用近似定理（学习笔记）-----用任意深度的神经网络逼近函数，张玉宏的《深度学习之美》阅读笔记.发展历程“通用近似定理”1989年被提出[1]，其中George Cybenko 最早提出并证明了这一定理，但是仅仅是在激活函数为 Sigmoid 函数时的特殊情况。那时，这一定理被看作是 Sigmoid 函数的特殊性质。但两年之后，Kurt Hornik 研究发现，造就通用拟合这一特性的根源并非 Sigmoid 函数，而是多层前馈神经网络这一架构本身。到2006年深度学习开始厚积薄发，但是这期间神经网络

2020-12-07 16:48:05 11743

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

呆呆象呆呆的博客