gogo小Sa的专栏

卷积神经网络入门 本节主要讲卷积神经网络的组成。卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即：INPUT（输入层）-CONV（卷积层）-RELU（激活函数）-POOL（池化层）-FC（全连接层）。 1． 卷积层    主要介绍卷积层的构成、卷积层的作用、卷积层的特性、卷积的过程、卷积层输出特征图的大小的计算。【卷积层的作用】    卷积层，一般用来做特征提取。【卷积层...

转载: 本文原作者袁洋，原载于知乎专栏理论与机器学习。本文转载自：http://www.sohu.com/a/201362073_717210本文主要介绍作者与 Elad Hazan, Adam Klivans 合作的最新论文:Hyperparameter Optimization: A Spectral Approach（https://arxiv.org/abs/1706.00764）那么，在...

转载：本文原作者袁洋，本文原载于作者的知乎专栏——理论与机器学习三秒钟理解本文主旨：问：神经网络有什么理论支持？答：目前为止（2017 年）没有什么特别靠谱的。2012年之后，随着深度学习的浪潮卷来，大家逐渐认可了神经网络/深度学习这个东西，都知道它在很多应用场景下面表现得很好。但是，它常常被人诟病的一点就是，就算它表现很好，却没有一个很好的理论解释。相比之下，很多算法虽然实际表现一般，但是在理论...

【深度学习】GoogleNet原理解析与tensorflow实现tensorflow.contrib.slim.python.slim.nets中已经搭建好了经典卷积神经网络：    alexnet\vgg\inception_v1_v2_v3\resnet

原文发布时间：2016-12-02 11:39本文作者：新智元本文来自云栖社区合作伙伴镁客网，了解相关信息可以关注镁客网摘要： 深度学习的应用越来越广，而起码在未来五年，这个领域仍将由这些顶尖的公司和机构领军。 Technavio是一家全球技术研究与咨询公司，其最近的《全球深度学习系统市场报告》选出了全球Top 6的深度学习机构，分别是谷歌的母公司Alphabet、伯克利视觉学习中心（BVLC）、...

   【深度学习】Backpropagation applied to Handwritten zip code recognition ----LeCun    此篇注解LeCun的CNN名作，主要讲述了反向传播算法在手写邮政编码识别中的应用    转载请注明出处：一.整篇结构    1.introduction    2.zip codes          2.1 data base    ...

    经典的LeNet诞生于1998年。然而之后CNN的锋芒开始被SVM等手工设计的特征盖过。随着ReLU和dropout的提出，以及GPU和大数据带来的历史机遇，CNN在2012年迎来了历史突破–AlexNet，从此CNN呈现爆炸式发展。    从此，Deep Learning一发不可收拾，ILSVRC每年都不断被Deep Learning刷榜，如图1所示，随着模型变得越来越深，Top-5...

【深度学习】VGGNet原理解析及实现        VGGNet由牛津大学的视觉几何组（Visual Geometry Group）和Google DeepMind公司的研究员共同提出，是ILSVRC-2014中定位任务第一名和分类任务第二名。其突出贡献在于证明使用很小的卷积（3*3），增加网络深度可以有效提升模型的效果，而且VGGNet对其他数据集具有很好的泛化能力。到目前为止，VGGNet依...

【深度学习】AlexNet原理解析及实现    Alex提出的alexnet网络结构模型，在imagenet2012图像分类challenge上赢得了冠军。    要研究CNN类型DL网络模型在图像分类上的应用，就逃不开研究alexnet，这是CNN在图像分类上的经典模型。一、Alexnet结构alexNet为8层深度网络，其中5层卷积层和3层全连接层，不计LRN层和池化层。如下图所示：     ...

【深度学习】用python搭建自己的神经网络

【深度学习】神经网络介绍神经元激活函数感知机与多层网络误差反向传播 参考：周志华《机器学习》         "神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应" [Kohonen, 1988] .1.神经元模型    神经网络中最基本的成分是神经元 (neuron)模型，即上述中提到的"简单单元"。在生物神经网络中，每个神经元与...

mnist手写数字识别--tensorflow实现代码：#!/usr/bin/env python# _*_ coding: utf-8 _*_import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data# 定义神经网络模型的评估部分def compute_accuracy(test...

转载：本文原作者袁洋，原文载于作者的知乎专栏——理论与机器学习，雷锋网经授权发布。转载自：http://www.sohu.com/a/190641434_114877本文主要介绍 SGD 算法，和两篇分析它逃离鞍点的论文: 我与鬲融，金驰，黄芙蓉写的 Escaping From Saddle Points – Online Stochastic Gradient for Tensor Decomp...