![](https://img-blog.csdnimg.cn/20190927151026427.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
文章平均质量分 93
帅气滴点C
这个作者很懒,什么都没留下…
展开
-
AttoNets,一种新型的更快、更高效边缘计算神经网络
目录题目:AttoNets:紧凑和高效的深度神经网络的边缘通过人机协同设计摘要:1 介绍2 方法2.1 基于规则的网络设计原型开发2.2 机器驱动的设计探索3 AttoNet 架构设计3.1 模块层级的微架构3.2 创建 AttoNet网络架构4 结果与讨论4.1 物体识别5 结论题目:AttoNets:紧凑和高效的深度神经网络的边缘通过人...翻译 2019-11-11 23:13:09 · 724 阅读 · 0 评论 -
卷积神经网络(一)-LeNet
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNetCNN从90年代的LeNet开始,21世纪初沉寂了10年,直到12年AlexNet开始又再焕发第二春,从ZF Net到VGG,GoogLeNet再到Res...转载 2019-05-06 11:06:19 · 3418 阅读 · 1 评论 -
卷积神经网络(二)-AlexNet
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNetAlexNet在2012年ImageNet竞赛中以超过第二名10.9个百分点的绝对优势一举夺冠,从此深度学习和卷积神经网络名声鹊起,深度学习的研究如雨后春...转载 2019-05-06 11:10:52 · 1392 阅读 · 0 评论 -
卷积神经网络(三)-ZF-Net和VGG-Nets
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNet目录ZF-NetVGG-NetsZF-NetZFNet是2013ImageNet分类任务的冠军,其网络结构没什么改进,只是调了调参,...转载 2019-05-06 12:40:21 · 3124 阅读 · 0 评论 -
卷积神经网络(四)-GoogLeNet
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNetGoogLeNet在2014的ImageNet分类任务上击败了VGG-Nets夺得冠军,其实力肯定是非常深厚的,GoogLeNet跟AlexNet,VGG...转载 2019-05-06 12:44:05 · 2197 阅读 · 0 评论 -
卷积神经网络(五)-ResNet
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNet2015年何恺明推出的ResNet在ISLVRC和COCO上横扫所有选手,获得冠军。ResNet在网络结构上做了大创新,而不再是简单的堆积层数,ResNe...转载 2019-05-06 12:47:01 · 4501 阅读 · 1 评论 -
卷积神经网络(六)-DenseNet
卷积神经网络(一)-LeNet卷积神经网络(二)-AlexNet卷积神经网络(三)-ZF-Net和VGG-Nets卷积神经网络(四)-GoogLeNet卷积神经网络(五)-ResNet卷积神经网络(六)-DenseNet自Resnet提出以后,ResNet的变种网络层出不穷,都各有其特点,网络性能也有一定的提升。本文介绍的最后一个网络是CVPR 2017最佳论文Dense...转载 2019-05-06 12:49:07 · 3181 阅读 · 0 评论 -
机器学习之正则化(Regularization)
1. The Problem of Overfitting1还是来看预测房价的这个例子,我们先对该数据做线性回归,也就是左边第一张图。如果这么做,我们可以获得拟合数据的这样一条直线,但是,实际上这并不是一个很好的模型。我们看看这些数据,很明显,随着房子面积增大,住房价格的变化趋于稳定或者说越往右越平缓。因此线性回归并没有很好拟合训练数据。我们把此类情况称为欠拟合(underf...转载 2019-05-16 15:05:39 · 1031 阅读 · 0 评论 -
深入理解机器学习中的:目标函数,损失函数和代价函数
基本概念:损失函数:计算的是一个样本的误差代价函数:是整个训练集上所有样本误差的平均目标函数:代价函数 + 正则化项实际应用:损失函数和代价函数是同一个东西,目标函数是一个与他们相关但更广的概念,举例说明:上面三个图的曲线函数依次为f1(x),f2(x),f3(x),我们想用这三个函数分别来拟合真实值Y。我们给定x,这三个函数都会输出一个f(X),这个输出的f(X...转载 2019-05-16 15:46:07 · 588 阅读 · 0 评论 -
深度学习相关会议
1. 深度学习ICLR:国际表示学习会议(International Conference on Learning Representations, ICLR) :主要聚焦于深度学习。 NIPS:神经信息处理系统年会(Annual Conference on Neural Information Processing Systems, NIPS):交叉学科会议,但偏重于机器学习。主要包括神...原创 2018-09-07 22:14:34 · 4614 阅读 · 0 评论 -
CNN中的stride 和 padding
先看一下 tensorflow中自带的卷积操作是什么样子的呢?https://tensorflow.google.cn/api_docs/python/tf/nn/conv2dtf.nn.conv2d( input, filter, strides, padding, use_cudnn_on_gpu=True, data_format='...原创 2019-07-09 10:49:07 · 5658 阅读 · 1 评论 -
DBN深度信念网络详解
1. 自联想神经网络与深度网络 自联想神经网络是很古老的神经网络模型,简单的说,它就是三层BP网络,只不过它的输出等于输入。很多时候我们并不要求输出精确的等于输入,而是允许一定的误差存在。所以,我们说,输出是对输入的一种重构。其网络结构可以很简单的表示如下: 如果我们在上述网络中不使用sigmoid函数,而使用线性函数,这就是PCA模型。中间网络节点个数就是PCA模型中的主分量个...转载 2018-09-11 15:44:24 · 11244 阅读 · 6 评论 -
深度学习模型压缩与优化加速
1. 简介深度学习(Deep Learning)因其计算复杂度或参数冗余,在一些场景和设备上限制了相应的模型部署,需要借助模型压缩、优化加速、异构计算等方法突破瓶颈。模型压缩算法能够有效降低参数冗余,从而减少存储占用、通信带宽和计算复杂度,有助于深度学习的应用部署,具体可划分为如下几种方法(后续重点介绍剪枝与量化): 线性或非线性量化:1/2bits, int8 和 fp16等; 结构...原创 2018-11-25 10:09:02 · 4859 阅读 · 2 评论 -
边缘计算(Edge computing)
外媒 ZDnet 发布了此篇边缘计算领域的重要文章,详细分析了各机构不同的定义、市场状况、前景等,经编译,供各位参考。数十亿物联网设备和5G网络这两股力量必将推动计算工作负载的部署方式发生深远而重大的变化。近年来,计算工作负载一直在迁移:先是从本地数据中心迁移到云,现在日益从云数据中心迁移到更靠近所处理的数据源的“边缘”位置。旨在缩短数据的传输距离,从而消除带宽和延迟问题,最终提升应用和服...转载 2018-10-05 16:17:11 · 8133 阅读 · 2 评论 -
语音识别基础
语音识别 我们的声音进入电脑后,变成了下面的结构 (上面这个图也叫声音的“时域”图,因为声音通过话筒进入计算机,是按时间上的先后顺序来的) 我们来“描述”一下,他有什么特征:1. 中间区域内,“振荡”幅度特别大,而两边变化的比较小,(中间区域的内容是“yi”的发音的声音图两边的地方是“静音区”,即在录音开始时,我们没有发出声音,但电脑已经开始录...转载 2018-10-06 22:32:18 · 479 阅读 · 0 评论 -
tesorflow 入门
神经网络模型,使用tesorflow,数据集是ministimport tensorflow as tfimport input_data#读取数据mnist= input_data.read_data_sets('data/',one_hot=True)trainimg=mnist.train.imagestrainimglabel=mnist.train.labelstes...原创 2018-10-09 10:53:09 · 1033 阅读 · 0 评论 -
tensorflow入门2
卷积神经网路基本模型''' 卷积神经网络模型 minist 数据集 n*784 卷积层->filter(3*3*1) 64个filter结果, pooling 2*2 卷积2->filter(3*3*64) 特征128输出 poo...原创 2018-10-09 22:57:43 · 178 阅读 · 0 评论 -
DNN 语音相关模型
DNN1 A practical guide to training restricted Boltzmann machines 介绍RBM以及训练RBM时的N多trick,如果要实现RBM算法,这篇文章必看 2 A fast learning algorithm for deep belief nets Hinton的经典之作,Deep Learning的开山之作,算是D...转载 2018-10-16 19:54:24 · 1490 阅读 · 0 评论 -
tensorflow入门3
保存和读取数据#写入保存模型# [1,2] 一行两列的矩阵# 先随机初始化数据,然后保存在路径中。# V1 [[ 0.27351457 -0.78297377]]# V2 [[ 1.0811048 0.26295033 -1.5276935 ]# [ 1.5492363 0.39183983 -0.17527111]]# V1=tf.Variable(tf.rand...原创 2018-10-10 20:33:58 · 162 阅读 · 0 评论 -
深度神经网络压缩 Deep Compression (ICLR2016 Best Paper)
【论文阅读】Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman coding如何压缩?Prunes the network:只保留一些重要的连接; Quantize the weights:通过权值量化来共享一些weights; Huffman...转载 2018-10-20 16:50:43 · 392 阅读 · 0 评论 -
深度压缩
最近在做模型压缩,看到这篇文章,分享一下。模型压缩:主要是为了降低运算量和节省功耗。模型计算量是衡量深度学习是否适合在移动或嵌入式端计算的最重要指标,通常用 GOP 单位来表示。例如,流行的 ResNet-18 的计算量大约是 4 GOP,而 VGG-16 则为大约 31 GOP。深度学习模型必须储存在内存里面,而内存其实还分为片上内存和片外内存两种。片上内存就是 SRAM cache,是...转载 2018-10-20 17:06:22 · 294 阅读 · 0 评论 -
如何在Cortex-M处理器上实现高精度关键词识别
转自:https://community.arm.com/developer/ip-products/processors/b/processors-ip-blog/posts/high-accuracy-keyword-spotting-on-cortex-m-processors我们可以对神经网络架构进行优化,使之适配微控制器的内存和计算限制范围,并且不会影响精度。我们将在本文中解释...转载 2018-10-21 17:14:03 · 767 阅读 · 0 评论 -
独热编码(One-Hot Encoding)介绍及实现
一、介绍One-Hot编码,又称为一位有效编码,主要是采用位状态寄存器来对个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候只有一位有效。独热编码 是利用0和1表示一些参数,使用N位状态寄存器来对N个状态进行编码。例如:参考数字手写体识别中:如数字字体识别0~9中,6的独热编码为0000001000自然状态码为:000,001,010,011,100,101...原创 2018-11-06 16:43:07 · 31006 阅读 · 2 评论 -
常用的深度学习模型
目录1 自动编码器2 受限玻尔兹曼机3.深信度网络1 自动编码器如果事先不知道输入数据的标签,那么可以使用自动编码器。自动编码器训练示意图标题自动编码器让输入数据经过一个编码器得到一个编码输出,在将该输出导入一个解码器得到最终的输出,由于输入数据是无标签数据,此时的误差来自于输出和原输入之间的比较。通过调整编码器和解码器的参数,使得误差达到最小,就能得到输入信号的另...原创 2018-09-20 16:47:21 · 17646 阅读 · 0 评论