![](https://img-blog.csdnimg.cn/4a1230ed62bf4dadb5b8b331ffb43dbc.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
CV
文章平均质量分 95
计算机视觉。
yao.x
Study hard and make progress every day!
展开
-
Attention机制学习
注意力机制是一个很不错的科研创新点方向,但是没有系统记录过学习过程,这里记录科研中遇到的各种注意力机制。原创 2023-12-15 12:27:34 · 141 阅读 · 0 评论 -
入门ResNet,在Cub200数据集上复现Resnet50
1.背景问题(1).如果只是单纯地把卷积层和池化层进行堆叠,造成的问题就会有梯度消失和梯度爆炸,梯度消失是指当在某一层进行BP的时候,误差为一个小于零的数,那不断相乘,就会趋近于零。梯度爆炸则是指某一层的开始误差都是大于1的数,直接相乘就会导致梯度爆炸。这种情况的处理方法就是对数据进行标准化处理和bn标准化处理特征图。(2).退化问题就是本来训练到20层已经达到了99%,但是30层训练之后的正确率反而小于99%。resnet通过残差结构(就是那条捷径)解决了退化问题,使之层数增加,准确率是一直增加。所以原创 2021-02-25 10:27:33 · 4752 阅读 · 9 评论 -
Fine-Grained Representation Learning and Recognition by Exploiting Hierarchical Semantic Embedding
一、背景1. 基于深度学习的方法本质上都有两个缺点(1)模型性能的保证依赖于大量带标注的训练数据;(2)是这些方法往往缺乏对能起指导作用的先验知识加以利用。2. 精细化识别技术的主要难点(1)难以区分的类间差别:对于从相似类别得到的物体,很多情况下他们的视觉差别是非常微小的,有些甚至是人都难以区分;(2)明显的类内差异:对于从同一类别得到的物体,由于尺度、视角、遮挡以及多样化的背景,这些物体呈现出非常大的视觉差异。3. 两种神经网络一种是全连接神经网络,如受限玻尔兹曼机[1]、深度置信网络原创 2021-04-29 08:37:26 · 568 阅读 · 1 评论 -
循环神经网络,注意力机制小结
写在前面,RNN是经典的用来处理序列数据的神经网络,这里花了点时间学习了一下,顺便非常粗糙地了解了一下NLP的内容,因此在这里整理了一下笔记。1、知识图谱针对客观存在的信息,抽取置信度较高的加入到实体库,然后用(实体1,关系,实体2)、(实体、属性,属性值)这样的三元组来实体库间的关系,每一个三元组就是一个“知识”,知识图谱就是若干知识的连接网络。2、NLP与RNN● 序列数据比如说“我手机坏了,我想买个新苹果!”,这句话中的“苹果”指的是手机而不是真正的苹果,那我们之所以会认为是手机,是因.原创 2021-10-22 09:07:49 · 547 阅读 · 2 评论