deeplearning
不负韶华T
泛爱众 而亲仁 有余力 则学文
展开
-
卷积神经网络
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第二篇,讲讲经典的卷积神经网络。我不打算详细描述卷积神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,也就是如何自己编程去实现的问题。1. 概述转载 2017-05-13 16:31:31 · 275 阅读 · 0 评论 -
谈Tensorflow的Batch Normalization
tensorflow中关于BN(Batch Normalization)的函数主要有两个,分别是:tf.nn.momentstf.nn.batch_normalization关于这两个函数,官方API中有详细的说明,具体的细节可以点链接查看,关于BN的介绍可以参考这篇论文,我来说说自己的理解。不得不吐槽一下,tensorflow的官方API很少给例子,太不人性化了,人家numpy做的转载 2018-01-17 15:02:47 · 566 阅读 · 0 评论 -
感受野receptive field个人理解
先引用一种思路: 至于为什么在下式不成立: 在于我们从长度着手的处理方法,应该从下一层最多从上一层吸收的长度着手(这也是和先前的假设pad操作不能扩展信息量相对应的),用一张图解释一下: 举个例子:在maxpooling层中,如果它的kenerl size是2x2,输出结果中的每一个元素都是其对应输入的2x2的区域中的最大值,所以这一层的感受野大小就是2。其实感受野的大小是由kerne原创 2017-12-17 16:52:26 · 1466 阅读 · 0 评论 -
随机生成图像 与 图像的转维(reshape)
OpenCV可以支持Python版本;通过Python的标准库, os.urandom(), 随机生成uchar数, 然后传递给OpenCV的矩阵;通过reshape()函数, 把1维变成2维(灰度图像), 把1维变成3维(彩色图像);注意: "-*- coding: utf-8 -*-"可以UTF-8编码, 可以使用中文注释; 输出灰度和彩色;代码如下:转载 2017-12-25 11:23:25 · 2471 阅读 · 0 评论 -
win10 安装 tensorflow gpu 版
先打开网址https://storage.googleapis.com/tensorflow 可以看到目前的所有tensorflow已编译版本。直接翻到最后面,找到windows的。比如当前最新的为:Contents>Key>windows/gpu/tensorflow_gpu-1.0.0rc0-cp35-cp35m-win_amd64.whlKey>Generation>1485转载 2017-12-14 16:49:39 · 222 阅读 · 0 评论 -
详细解释CNN卷积神经网络各层的参数和链接个数的计算
卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由多个独立神经元组成。 图:卷积神经网络的概念示范:输入图像通过和三个可训练的滤波器和可加偏置进行卷积,滤波过程如图一,卷积后在C1层产生三个特征映射图,然后特征映射图中每组的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层转载 2017-12-14 14:12:52 · 6410 阅读 · 0 评论 -
交叉熵代价函数cross-entropy
交叉熵代价函数(Cross-entropy cost function)是用来衡量人工神经网络(ANN)的预测值与实际值的一种方式。与二次代价函数相比,它能更有效地促进ANN的训练。在介绍交叉熵代价函数之前,本文先简要介绍二次代价函数,以及其存在的不足。1. 二次代价函数的不足 ANN的设计目的之一是为了使机器可以像人一样学习知识。人在学习分析新事物时转载 2017-12-02 11:34:56 · 1028 阅读 · 0 评论 -
卷积神经网络算法的一个实现
前言从理解卷积神经到实现它,前后花了一个月时间,现在也还有一些地方没有理解透彻,CNN还是有一定难度的,不是看哪个的博客和一两篇论文就明白了,主要还是靠自己去专研,阅读推荐列表在末尾的参考文献。目前实现的CNN在MINIT数据集上效果还不错,但是还有一些bug,因为最近比较忙,先把之前做的总结一下,以后再继续优化。卷积神经网络CNN是Deep Learning的一个重要算法,在很多转载 2017-12-11 18:33:00 · 818 阅读 · 0 评论 -
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现
Deep Learning论文笔记之(四)CNN卷积神经网络推导和实现[email protected]://blog.csdn.net/zouxy09 自己平时看了一些论文,但老感觉看完过后就会慢慢的淡忘,某一天重新拾起来的时候又好像没有看过一样。所以想习惯地把一些感觉有用的论文中的知识点总结整理一下,一方面在整理过程中,自己的理解也会更深,另转载 2017-12-10 19:41:58 · 230 阅读 · 0 评论 -
BP原理推导
相信每位刚接触神经网络的时候都会先碰到BP算法的问题,如何形象快速地理解BP神经网络就是我们学习的高级乐趣了(画外音:乐趣?你在跟我谈乐趣?)本篇博文就是要简单粗暴地帮助各位童鞋快速入门采取BP算法的神经网络。BP神经网络是怎样的一种定义?看这句话:一种按“误差逆传播算法训练”的多层前馈网络。 BP的思想就是:利用输出后的误差来估计输出层前一层的误差,再用这层转载 2017-12-10 11:19:47 · 1198 阅读 · 1 评论 -
Deep learn toolbox:CNN BP求导解析
《Notes on Convolutional Neural Networks》中详细讲解了CNN的BP过程,下面结合Deep learn toolbox中CNN的BP源码对此做一些解析 卷积层: 卷积层的前向传导: 误差反传: 当卷基层的下一层是pooling层时,如果转载 2017-05-13 19:49:30 · 508 阅读 · 0 评论 -
Deep Learning学习 之 CNN代码解析(MATLAB)
Test_example_CNNTest_example_CNN:1设置CNN的基本参数规格,如卷积、降采样层的数量,卷积核的大小、降采样的降幅2 cnnsetup函数 初始化卷积核、偏置等3 cnntrain函数 训练cnn,把训练数据分成batch,然后调用 3.1cnnff 完成训练的前向过程3.2 cnnbp计算并传递神经网络的error,并计算梯度(权重的修改量)转载 2017-05-13 18:46:46 · 1281 阅读 · 0 评论 -
Deep Learning(深度学习)学习笔记整理系列之LeNet-5卷积参数个人理解
一个典型的例子说明 一种典型的用来识别数字的卷积网络是LeNet-5(效果和paper等见这)。当年美国大多数银行就是用它来识别支票上面的手写数字的。能够达到这种商用的地步,它的准确性可想而知。毕竟目前学术界和工业界的结合是最受争议的。 LeNet-5共有7层,不包含输入,每层都包含可训练参数(连接权重)。输入转载 2017-05-13 16:43:27 · 653 阅读 · 0 评论 -
ELU激活函数的提出(FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS))
http://blog.csdn.net/mao_xiao_feng/article/details/53242235?locationNum=9&fps=1论文下载:FAST AND ACCURATE DEEP NETWORK LEARNING BY EXPONENTIAL LINEAR UNITS (ELUS)(2016,Djork-Arn´e Clevert, Tho转载 2018-02-02 12:02:13 · 8216 阅读 · 0 评论