- 博客(56)
- 收藏
- 关注
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 TensorFlow官方教程学习笔记(五)——前馈神经网络
本文主要是在TensorFlow上搭建一个前馈神经网络(feed-forward neural network)来对TensorFlow的运作方式进行简单介绍。代码在\examples\tutorials\mnist\中,主要使用两个文件:mnist.py和fully_connected_feed.py。
2017-01-19 00:34:38
6790
6
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 TensorFlow官方教程学习笔记(四)——MNIST数据集的读取
本文主要讲如何将MNIST数据文件中的images和labels分别提取出来的过程,与TensorFlow和deeplearning无关,但是我觉得对于MNIST数据集的了解,以及后面的一些才做还是很有帮助的。
2017-01-12 07:44:26
6026
3
![](https://csdnimg.cn/release/blogv2/dist/pc/img/listFixedTop.png)
原创 TensorFlow官方教程学习笔记(三)——MNIST入门(续)
在上一篇文章中,我们使用了一个简单的SoftMax的回归模型对MNIST手写数字数据集进行训练,经过1000次的跌代后,识别精度达到了91%,但这是远远不够的。在本章中,我们使用一个稍微复杂的模型,其实也不是很复杂,一个含有两个卷积层的卷积神经网络,来测试它的识别效果。
2017-01-07 20:14:14
3179
原创 从神经网络到深度学习(一 )
神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 ——T.Koholen
2017-08-27 16:17:29
3636
原创 论文笔记:ThiNet——一种filter级的模型裁剪算法
近两年来,有关模型压缩的论文越来越多,人们不再一昧的只追求强大的性能,而是开始慢慢的将模型的大小、运算量以及效率考虑进来,人们做的越来越多的是,在性能可接受的范围内,模型越小越好。这也说明了一点,深度学习模型已经开始被广泛的运用在了平常的生活当中,可以理解为现在的手机和以前的大哥大之间的关系。
2017-08-20 13:54:32
5645
3
原创 论文笔记:DeepRebirth——从非权重层入手来进行模型压缩
前言因为最近都在关注深度学习模型压缩相关的工作,所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作,来自于三星研究院在ICLR2017上发表的论文:DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。
2017-07-25 20:34:35
3321
2
原创 深度学习模型压缩方法综述(三)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-24 22:43:37
29135
2
原创 深度学习模型压缩方法综述(二)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-21 22:42:48
26216
6
原创 深度学习模型压缩方法综述(一)
目前在深度学习领域分类两个派别,一派为学院派,研究强大、复杂的模型网络和实验方法,为了追求更高的性能;另一派为工程派,旨在将算法更稳定、高效的落地在硬件平台上,效率是其追求的目标。复杂的模型固然具有更好的性能,但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。
2017-07-21 21:17:13
55727
4
原创 论文笔记:Residual Attention Network for Image Classification
深度学习中的Attention,源自于人脑的注意力机制,当人的大脑接受到外部信息,如视觉信息、听觉信息时,往往不会对全部信息进行处理和理解,而只会将注意力集中在部分显著或者感兴趣的信息上,这样有助于滤除不重要的信息,而提升信息处理的效率。
2017-06-25 21:58:34
36759
22
原创 Caffe深度学习进阶之Cifar-10分类任务(下)
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成,一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练,10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。
2017-06-17 19:51:10
3121
1
原创 Caffe深度学习进阶之Cifar-10分类任务(上)
Cifar-10数据集是深度学习领域一个常见的数据集。Cifar-10由60000张32*32的RGB彩色图片构成,一共包含有飞机、汽车、鸟、毛、鹿、狗、青蛙、马、船、卡车这10个类别。50000张训练,10000张测试。常被用来作为分类任务来评价深度学习框架和模型的优劣。
2017-06-16 22:06:31
8252
原创 分形网络结构——FractalNet: Ultra-Deep Neural Networks without Residuals论文笔记
出了一种新的分形网络结构,它的提出就是为了证明Residual对于极深网络并不是必须的,它通过一种分形的结构,达到了类似于教师-学生机制、深度监督的效果,同样取得了非常好的效果。虽然这种方法在目前来说用的比较少,但是我觉得它的这种思路是非常值得学习的。
2017-06-14 21:06:20
12358
1
转载 Python基础-字符串格式化_百分号方式_format方式(转)
Python的字符串格式化有两种方式: 百分号方式、format方式百分号的方式相对来说比较老,而format方式则是比较先进的方式,企图替换古老的方式,目前两者并存。
2017-05-30 10:04:07
12922
原创 一种新的ResNet思路:Learning Identity Mapping with Residual Gates论文笔记
今天要介绍的叫做Gated ResNet,它来自一篇发表在今年ICLR上的论文,它没有之前提到的几个网络复杂,它对ResNet所提出的Identity Mapping进行了更加细致的思靠,它认为Identity Mapping才是ResNet包括Highway Network的精髓,并提出了对于一个深层网络,如果它具有退化成Identity Mapping的能力,那么它一定是容易优化、并且具有很好性能的。
2017-05-28 22:12:10
5460
原创 WRNS:Wide Residual Networks 论文笔记
俗话说,高白瘦才是唯一的出路。但在深度学习界貌似并不是这样。Wide Residual Networks就要证明自己,矮胖的神经网络也是潜力股。
2017-05-15 22:30:26
19354
2
原创 GoogLeNet:Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning论文笔记
ResNet以及GoogLeNet在图像识别上都取得了非常优异都效果,并且都具有各自都风格和特点。如果将ResNet都Residual block和GoogLeNet都Inception block结合起来,是否可以生成一种结构更加复杂、性能更加强大的模型呢?
2017-04-02 17:43:32
4563
原创 GoogLeNet:Inception V3:Rethinking the Inception Architecture for Computer Vision论文笔记
俗话说得好,探索的道路是永无止境的,GoogLeNet经过了Inception V1、Inception V2(BN)的发展以后,Google的Szegedy等人又对其进行了更深层次的研究和拓展,在本文中,作者提出了当前环境下,网络设计的一些重要准则,并根据这些准则,对原有的GoogLeNet进行了改进,提出了一个更加复杂、性能更好的模型框架:Inception V3。
2017-03-29 16:10:09
11559
2
原创 Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift论文笔记
虽然GoogLeNet在ILSVRC2014上斩获了各种大奖,但是GooGle的各位大牛依然没有闲着,他们马上又抛出了一个新的问题:Internal Covariate Shift,也就是本文要研究的问题,他们提出了一个新的层:Batch Normalization(BN),不仅能够很好的解决这个问题,而且在增快训练速度的基础上能够有效的提高模型的性能。
2017-03-23 14:31:55
2751
转载 机器学习中的回归(regression)与分类(classification)问题
分类模型和回归模型本质一样,分类模型是将回归模型的输出离散化。
2017-03-13 20:49:43
66805
原创 GoogLeNet Inception V1:Going deeper with convolutions论文笔记
在ILSVRC2014上最耀眼的除了VGG,那就非GoogLeNet莫属了,它与VGG类似的地方就是,关注于模型的深度,使模型倾向于deeper,与VGG不同的是,它的尝试更加新颖。从2014年至今,GoogLeNet经历了Inception v1到v4,以及Inception-ResNet的发展,也证明了Inception最初思想的潜力。今天我们就来看看GoogLeNet Inception V1的框架和效果。
2017-03-13 17:02:23
4538
1
转载 干货 | ImageNet 历届冠军架构最新评析:哪个深度学习网络最适合你(转)
【导读】计算机图像计算水平稳步的增长,但各大厉害的模型尚未得到合理应用。在这篇 ICLR 2017 提交论文《深度神经网络模型分析在实践中的应用》中,作者从精确度、内存占用、参数、推理时间和功耗等方面分析比较 ImageNet 历届冠军架构,为有效设计及应用深度神经网络提供了最新的分析资料。
2017-03-13 13:33:17
9971
翻译 VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION译文
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Very Deep Convolutional Networks for Large-Scale Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/61625387
2017-03-12 21:24:42
24254
3
原创 VGG:VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION论文笔记
VGG模型在ILSVRC2014上大放异彩,虽然从VGG的诞生到现在已经2年多,但是它依然是目前最热门的模型网络之一。它最大的贡献是,将深度学习从AlexNet的时代推入到deeper model的时代,第一次将模型深度提高到16层以上,并取得了很好的效果。
2017-03-12 12:04:33
4281
1
翻译 Identity Mappings in Deep Residual Networks(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Identity Mappings in Deep Residual Networks译文地址:http://blog.csdn.net/wspba/article/details/60750007
2017-03-07 11:36:54
22096
8
原创 解密ResNet:Identity Mappings in Deep Residual Networks论文笔记
在上一篇文章中,对MSRA何凯明团队的ResNet进行了介绍(地址),那篇文章中提到了,1202层的ResNet出现了过拟合的问题,有待进一步改进。
2017-03-06 11:54:00
21434
3
翻译 Deep Residual Learning for Image Recognition(译)
仅供参考,如有翻译不到位的地方敬请指出。论文地址:Deep Residual Learning for Image Recognition译文地址:http://blog.csdn.net/wspba/article/details/57074389
2017-02-25 11:41:29
72758
20
原创 ResNet论文笔记
ResNet——MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification、detection、localization以及COCO的detection和segmentation上均斩获了第一名的成绩,而且Deep Residual Learning for Image Recognition也获得了CVPR2016的best paper,实在是实至名归。就让我们来观摩大神的这篇上乘之作。
2017-02-20 21:15:31
94738
5
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人