DeepLearning
文章平均质量分 94
恒友成
勿在浮沙筑高台
左脑学习,右脑应用
展开
-
17.基干模型Swin-Transformer解读
Swin-Transformer是2021年03月微软亚洲研究院提交的论文中提出的,比ViT晚了半年左右,相对于ViT而言,的改进,使能作为新的视觉任务backbone,用于分类分割和检测,姿态估计等任务。是,作者指出了将应用到视觉任务中需要解决的两个问题,一个是在ViT中就已经提到的计算时QKTdkVdkQKTV复杂度是序列长度L(在视觉任务中是image size)的平方,着限制了处理大分辨率图像的能力。原创 2023-10-31 22:08:22 · 379 阅读 · 0 评论 -
16.ViT模型介绍
自2017年06月由谷歌团队在论文中提出后,给自然语言处理领域带去了深远的影响,其并行化处理不定长序列的能力及自注意力机制表现亮眼。根据以往的惯例,一个新的机器学习方法往往先在NLP领域带来突破,然后逐渐被应用到计算机视觉领域。时间来到2020年10月,同样是谷歌团队提出了将应用到视觉任务的方法,。关于对的介绍可以参考。将应用于视觉任务的一种想法是将图像每个像素都flatten,得到一个表示图像的序列,作为模型的输入。但对使用自注意力模块的来说,这种方法随着图像分辨率的变大,计算复杂度也变得很高,因为。原创 2023-10-31 21:38:14 · 260 阅读 · 0 评论 -
15.transformer全解
这是Google2017年06月份发表的文章,在这篇文章中作者提出了后来对CV和NLP都产生了影响很大的网络结构,成为继MLP和RNN后又一倍受关注的基础模型。用于序列化数据的学习以输出序列化的预测结果,如应用在NLP领域。最早的提出就是应用在机器翻译领域,在WMT2014 英语翻译成德语的任务上,BLEU指标达到了28.4,比之前的SOTA提升了2个点。中使用多头注意力层替换了之前序列转录模型中使用循环神经网络单元。图片来自于1在RNN中,如上图,要计算hth_tht必须先计算ht−。原创 2023-04-17 00:00:04 · 1994 阅读 · 1 评论 -
14.卷积神经网络中的不变性
最近看的2015年前后的几篇语义分割网络中反复提到了一个点,深度卷积神经网络的内置不变性。2014年11月发表的中作者提到了卷积神经网络具有的平移不变性:[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jwZy2ERO-1678364016720)(/images/MachineLearning/12BuiltinInvarianceofDCNN/1.png)]2014年12月发表的DeepLabV1。原创 2023-03-09 20:17:28 · 1122 阅读 · 0 评论 -
13.分组卷积
分组卷积最早在2012年的AlexNet中提出,当时受限于单个GPU的内存和运算能力,在通道方向上将特征图和卷积核分成ggg组分别计算,然后再将每组卷积得到的结果concatenateconcatenate后得到最终的结果。原创 2023-03-01 23:58:50 · 620 阅读 · 0 评论 -
(十二)可变形卷积DeformableConvolution
是清华大学的代季峰于2017年发表的论文中提出的。主要想解决的问题是,给常规卷积增加一个二维的平移变换,使用可变形的卷积核对特征图进行卷积,提升卷积的表达能力。这篇文章讨论的空间变换表征能力与2015年google的DeepMind发表的STN的有相似之处。一,使用数据增强,生成具有几何变换多样性的训练数据,如对训练数据进行仿射变换,缺点增加了训练时间二,使用具有几何不变性的特征,如SIFT,缺点手动设计的特征在处理复杂的变换时显得不可行。原创 2023-02-07 22:49:22 · 2652 阅读 · 0 评论 -
(十一)数据归一化方法BN/LN/GN/IN
在使用过程中依赖batch size的大小,当模型比较复杂,占用内存过多时很难使用大的。是作用在卷积核作用在输入上得到的输出的每个通道上,输出的每个通道算做一层,在该层上做。层整体的梯度公式来计算梯度,可以减少中间变量的存储和计算,减少运算量和内存占用。在神经网络的训练过程中,网络的收敛情况非常依赖于参数的初始化情况,使用。表示当前层隐层单元的数量,当使用的是卷积神经网络时,中的提出的方法,其作用在单个样本的一个通道上,相当于。是在每个样本的每层输出上实现的,因此可以复用。原创 2022-12-13 01:08:23 · 424 阅读 · 0 评论 -
(十)再探反向传播和神经网络优化
欢迎访问个人网络日志🌹🌹知行空间🌹🌹反向传播算法是深度学习的基石,在年有一段时间总会跟着的课程讲义反复推导神经网络中反向传播,时至今日再重新回顾一下神经网络中的优化方法。对于线性分类器:s=WXs=WXs=WX,其中,为,表示的是样本数目,是的特征维度,为,表示类别的数目,即是每个样本对应每个类别的评分。全连接神经网络是有很多个线性分类器组成的,如带一个隐层的2层全连接网络s=W2max(0,W1X)s=W_2max(0, W_1X)s=W2max(0,W1X),为,其中表示的W1XW_1XW原创 2022-12-03 18:57:10 · 655 阅读 · 0 评论 -
(八)深度可分离卷积(Depthwise Separable Convolution,DSC)
(KW,KH,Cin,Cout)=(3,3,3,4)(KW,KH,Cin,Cout)=(3,3,3,4)常规卷积的参数为108(KW,KH,Cin,Cout)=(3,3,3,4)(KW,KH,Cin,Cout)=(3,3,3,4)深度可分离卷积的参数为27+12=39。原创 2022-10-13 01:02:14 · 7138 阅读 · 0 评论 -
(七)转置卷积
转置卷积 transposed convolution介绍原创 2022-05-15 23:04:25 · 394 阅读 · 1 评论 -
Global Contrast Normalization
Global Contrast Normalization原创 2022-05-06 00:50:48 · 569 阅读 · 1 评论 -
Tensorflow(r1.4)API--tf.nn.conv2d详解
(一)函数简介conv2d(input,filter,strides,padding,use_cudnn_on=True,data_format='NHWC',name=None)1.参数:input:一个half或者float32类型的tensor,shape为4-D,[batches,filter_height,filter_width,in_channels],[训练时一组原创 2017-12-11 20:45:07 · 703 阅读 · 0 评论 -
Tensorflow+Spyder+Opencv环境搭建
1.Tensorflow的安装多种安装方式,详见tensorflow官网介绍.在此使用包管理软件Anaconda进行安装: bash Anaconda2-4.2.0-Linux-x84-64.sh 安装完毕后重启: sudo reboot 建立Tensorflow的运行环境: conda create -n tensorflow python=2.7 激原创 2017-12-14 17:57:54 · 4422 阅读 · 0 评论 -
Tensorflow(r1.4)API--tf.summary.scalar
scalar(name,tensor,collections=None,family=None)###函数简介翻译 2017-12-18 09:55:01 · 10077 阅读 · 0 评论 -
Tensorflow(r1.4)API--tf.nn.dropout
函数介绍dropout(x,keep_prob,noise_shape=None,seed=None,name=None)参数x : 浮点型tensorkeep_prob : 常数tensor,类型和x相同,每个神经元被选中的概率。noise_shape : int32 类型的 1-D张量,代表随机产生的 选用/丢弃 标志的 shape.seed : Python 整型,生成随机种子。**原创 2017-12-11 22:32:50 · 306 阅读 · 0 评论 -
Tensorflow(r1.4)API--tf.nn.max_pool
函数简介max_pool(value,ksize,strides,padding,data_format=’NHWC’,name=Nome)参数:value : 一个4-D的tensor格式由 data_format指定ksize : 一个1-D有4个整型元素的tensor,输入tensor每个维度上的窗口大小,[batch,in_height,in_width,in_channels]一般ba翻译 2017-12-11 21:58:30 · 303 阅读 · 0 评论 -
Tensorflow(r1.4)API--tf.truncated_normal()
1、函数介绍truncated_normal(shape,mean=0.0,stddev=1.0,dtype=tf.float32,seed=None,name=None) truncated_normal()输出是以一组为shape的截断正态分布的随机值,该正态分布以mean为均值,stddev为标准差,随机值与均值的差值小于2倍的标准差。当随机值不在此范围时,将被丢弃再次生成。 Args:-原创 2017-12-11 20:23:06 · 207 阅读 · 0 评论