Deep Learning
文章平均质量分 67
深度学习笔记
CHAO_^
这个作者很懒,什么都没留下…
展开
-
Shufflenet
设计思路分组卷积在MobileNet系列博客里面解释的比较清楚了,针对分组卷积里Group之间信息不关联的问题,MobileNet 采用的是point-wise convolution,使用了较多的1*1的卷积核,计算量较大。ShuffleNet另辟蹊径,采用了channel shuffle(通道洗牌)方法,其含义就是对group convolution之后的特征图进行“重组”,这样可以保证接下了采用的group convolution其输入来自不同的组,因此信息可以在不同组之间流转。Shu原创 2022-03-09 21:55:39 · 230 阅读 · 0 评论 -
Densenet
论文:https://arxiv.org/pdf/1608.06993.pdf简述在深度学习网络中,随着网络深度的加深,梯度消失问题为愈加明显,解决这个问题的核心思路是create short paths from eraly layers to later layers.网络结构描述DenseBlcock传统网络在l层的输出为:对于ResNet,增加了来自上一层输入的itentity函数:在DenseNet中,会连接前面所有层作为输入:其中H为非线性转化函数,包含一些列组合操作原创 2016-07-25 11:10:19 · 633 阅读 · 0 评论 -
SqueezeNet
占个坑原创 2017-03-28 11:02:21 · 670 阅读 · 0 评论 -
MobileNet
简述MobileNet是为移动和嵌入式设备提出的高效模型,使用深度可分离卷积来构建轻量级深度神经网络。并且使用stride>1的卷积实现池化层的效果。网络结构深度可分离卷积标准卷积过程中,对应图像区域中的所有通道被同时考虑。卷积核中的27个数字与分别与样本对应相乘后,再进行求和,得出结果。深度可分离卷积将通道分开考虑,对于不同的ch...原创 2020-03-31 19:52:36 · 229 阅读 · 0 评论 -
AlexNet
AlexNet 论文《ImageNet Classification with Deep Convolutional Neural Networks》AlexNet网络结构描述**Conv1:**输入227∗227∗3227*227*3227∗227∗3,卷积核大小为11∗11∗311*11*311∗11∗3,移动步长为444,数量为969696个,输出55∗55∗9655*55*9655...原创 2020-03-31 19:49:10 · 229 阅读 · 0 评论 -
VggNet
VGG论文《Very Deep Convolutional Networks For Large-Scale Image Recongnition》VGG网络结构描述作者实验了6中网络结构,分别是VGG-11,VGG-13,VGG-16,VGG-19,网络的深度从A到E递增。VGG16特点优点:核心优点在于使用多个较小卷积核的卷积层替代一个卷积核较大的卷积层,一方面可以减少参数,另...原创 2018-12-24 21:57:00 · 576 阅读 · 0 评论 -
CLDNN
论文《CONVOLUTIONAL, LONG SHORT-TERM MEMORY,FULLY CONNECTED DEEP NEURAL NETWORKS》CLDNN网络结构描述考虑到LSTM局限性,CLDNN通过结合三种网络结构,来解决问题:把特征输入到CNN层,降低谱差异性;把CNN的输出输入到LSTM建模时序特征;把LSTM的输出作为DNN的输入,减少LSTM隐层的变化,使得...原创 2020-03-31 19:48:51 · 2472 阅读 · 1 评论 -
SSD目标检测算法
1、DES的描述 为了建立适用于计算机系统的商用密码,美国商业部的国家标准局NBS于1973年5月和1974年8月两次发布通告,向社会征求密码算法。在征得的算法中,由IBM公司提出的算法lucifer中选。1975年3月,NBS向社会公布了此算法,以求得公众的评论。于1976年11月被美国政府采用,DES随后被美国国家标准局和美国国家标准协会(American National Sta原创 2017-01-17 22:07:42 · 499 阅读 · 0 评论 -
LRN(局部响应归一化)
原理:LRN层模仿了生物神经系统的“侧抑制”机制,对局部神经元的活动创建竞争环境,使得其中响应比较大的值变得相对更大,并抑制其他反馈较小的神经元,增强模型的泛化能力。LRN对于ReLU这种没有上限边界的激活函数会比较有用,因为它会从附近的多个卷积核的响应中挑选比较大的反馈,但不适合Sigmoid之中有固定边界并且能抑制过大值的激活函数。是归一化后的值。表示第i个核位置(x,y)运用ReL...原创 2018-10-16 21:53:07 · 2545 阅读 · 0 评论 -
从R-CNN到Faster R-CNN
一、一点历史 1976年以前,所有的加密方法都是同一种模式: (1)甲方选择某一种加密规则,对信息进行加密; (2)乙方使用同一种规则,对信息进行解密。 由于加密和解密使用同样规则(简称”密钥”),这被称为”对称加密算法“(Symmetric-key algorithm)。 这种加密模式有一个最大弱点:甲方必须把加密规则告诉乙方,否则无法解密。保存和传递密钥,就成了最头疼的问题。19原创 2017-01-17 21:54:34 · 667 阅读 · 0 评论 -
GoogleNet(Inception机制)
值得学习的C语言开源项目 Libeventlibev是一个开源的事件驱动库,基于epoll,kqueue等OS提供的基础设施。其以高效出名,它可以将IO事件,定时器,和信号统一起来,统一放在事件处理这一套框架下处理。基于Reactor模式,效率较高,并且代码精简(4.15版本8000多行),是学习事件驱动编程的很好的资源。下载链接:https://github.com/libevent/libev原创 2017-02-13 16:41:41 · 1648 阅读 · 0 评论 -
ResNet
ResNet 论文https://arxiv.org/pdf/1512.03385.pdf简述网络深度的增加带来梯度消失网络不收敛,误差增大精度降低等问题,采用Batch Normalization一定程度上解决了梯度消失带来的网络不收敛,但也仅仅适用于几十层以内的网络,对于更深的网络依然无能为力。网络结构描述残差单元ResNet采用了shortcut conn...原创 2020-03-31 19:51:14 · 255 阅读 · 0 评论 -
激活函数
为什么要使用激活函数?在神经网络中,每一层的输入都是输入的线性函数,为了逼近任意函数(非线性函数),所以引入非线性函数作为激励函数。激活函数的特性非线性:为了使神经网络逼近任意函数。可微:一般采用基于梯度的网络优化方法。单调性:保证单层网络是凸函数。sigmod函数优点:缺点:当x较大或较小时,出现梯度消失。且导函数的最大值为0.25,意味着导数在每一层至少压缩为原来的...原创 2018-10-16 21:53:39 · 382 阅读 · 0 评论 -
Batch Normalization
论文Batch Normalization: Accelerating Deep Network Training byReducing Internal Covariate Shift1. 为什么要使用BNConvariate Shift是指训练集的样本数据和目标样本集分布不一致时,训练得到的模型无法很好的Generalization。它是分布不一致假设之下的一个分支问题,...原创 2020-03-31 19:50:51 · 150 阅读 · 0 评论 -
softmax回归
在广义线性模型中推导出了,如何根据回归模型的输出分布,推导出该模型的连接函数,和损失函数。 1.证明该分布属于指数分布族; 2.将连接函数(回归函数)表示为T(y)的期望,即计算E[T(y)|x]; 3.替换eta为x的线性表示。 在softmax回归的论述中,同样会遵循上述步骤。Softmax回归简介 Softmax回归可以看做是逻辑回归的扩展,逻辑回归只能进行二分类,输出只能为0或者1原创 2017-04-04 15:21:47 · 484 阅读 · 0 评论 -
全局平均池化Global Average Pooling
实现假设最终分为n类,那么最后一层卷积层的输出channnel应该为10,全局平均池化对这10个feature map,累加取平均,得到十个数字,将10个数字送入softmax,得到10个概率。优点GAP直接赋予了最后一层feature map实际的类别意义;大大减少了参数量;减少由于全连接层过多的参数造成的过拟合;...原创 2022-03-09 21:57:56 · 623 阅读 · 0 评论 -
池化层(Pooling Layer)
在卷积神经网络中,池化层往往跟在卷积层的后面,池化层的作用有两个: 1.降低卷积层输出的特征向量的维度。 2.减少过拟合现象。过拟合现象的存在是因为结果对于输入的某些误差过于敏感,通过max-pooling或mean-pooling可以减少噪声。池化层的前向传播: 池化层的操作同样是从一个区域中通过某种方式得出一个值作为特征,与卷积层不同的是,池化层的池化过程不存在参数。所以在反向传播的原创 2017-02-20 21:43:58 · 1974 阅读 · 1 评论 -
全连接层(FullConnect Layer)
全连接层: 在讨论卷积神经网络时,若直接在输入层采用全连接的方式,会导致权值过多而无法训练,但是全连接层并非无用武之地,在卷积神经网络特征提取完成后,这时的特征维度相对于原始的图片输入已经大大减小,这时可以采用全连接层来最大限度利用每一个特征。全连接层的每一个节点都与上一层的所有节点相连,用来把前边提取到的特征综合起来。 I为输入,O为输出。 前向的传导过程为:原创 2016-12-28 11:36:29 · 1455 阅读 · 0 评论 -
卷积层(Convolution Layer)
前言在学习BP神经网络时,将人工挑取出的特征采取全连接的方式送入神经网络中,此时的特征维数一般比较比较小,需要训练的权值个数也在可接受的范围之内。 然而将整个图像作为神经网络的特征输入的时候,需要训练的参数个数将远远超出计算能力之外。 卷积神经网络的卷积层,采用的感受野和权值共享的方法,将需要训练的权值数量大大减小。1.感受野(receptive field)由于受到生物学中视觉原创 2016-12-28 11:45:48 · 624 阅读 · 0 评论 -
Ubuntu18.04 Digits 环境搭建
Linux下通用环境配置简述在Linux下安装搭建环境,避免不了这几步:下载下载指定版本安装文件。安装如果存在多个软件版本,则需要在环境变量中设置使用哪个版本。例如,电脑中安装有多个python,包括python3和python2,为了指定使用python,则需要在~/.bashrc文件中设置:export PATH="/home/username/anaconda2/bin:$PATH"设置完成后source ~/.bashrc使环境变量生效,设置完成后可以通过which命令.原创 2020-10-25 11:40:58 · 415 阅读 · 0 评论