深度学习
爱吃串串的瘦子
程序写的棒,全凭代码浪
展开
-
【转】深度学习最全优化方法总结比较(SGD,Adagrad,Adadelta,Adam,Adamax,Nadam)
原文来自:https://zhuanlan.zhihu.com/p/22252270 前言 (标题不能再中二了)本文仅对一些常见的优化方法进行直观介绍和简单的比较,各种优化方法的详细内容及公式只好去认真啃论文了,在此我就不赘述了。SGD 此处的SGD指mini-batch gradient descent,关于batch gradient descent, stochastic gradien...转载 2018-05-18 21:35:17 · 329 阅读 · 0 评论 -
神经网络常用激活函数总结
神经网络中如果不加入激活函数,其一定程度可以看成线性表达,最后的表达能力不好,如果加入一些非线性的激活函数,整个网络中就引入了非线性部分,增加了网络的表达能力。目前比较流行的激活函数主要分为以下7种:1.sigmoid2.tanh3.ReLu4.Leaky ReLu5.PReLu6.RReLu7 Maxout8 SELU总结是ELU的改进版本,参考文献: [ReLu]:Rectifier Nonl...转载 2018-05-23 21:04:57 · 271 阅读 · 0 评论 -
神经网络入门之RNN(三)
在此之前,我们已经学习了前馈网络的两种结构——DNN和CNN,这两种结构有一个特点,就是假设输入是一个独立的没有上下文联系的单位,比如输入是一张图片,网络识别是狗还是猫。但是对于一些有明显的上下文特征的序列化输入,比如预测视频中下一帧的播放内容,那么很明显这样的输出必须依赖以前的输入, 也就是说网络必须拥有一定的”记忆能力”。为了赋予网络这样的记忆力,一种特殊结构的神经网络——递归神经网络(Re...转载 2018-05-18 21:45:14 · 208 阅读 · 0 评论 -
神经网络入门之CNN(二)
Convolutional Neural Networks卷积神经网络 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网络的输入是多维图像时表现的更为明显,使图像可以直接作为网络的输入,避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是为识别二维形状而特殊设计...转载 2018-05-18 21:44:20 · 489 阅读 · 0 评论 -
神经网络入门之DNN(一)
神经网络简史 神经网络技术起源于上世纪五、六十年代,当时叫感知机(perceptron),拥有输入层、输出层和一个隐含层。输入的特征向量通过隐含层变换达到输出层,在输出层得到分类结果。但是,Rosenblatt的单层感知机有一个严重得不能再严重的问题,即它对稍复杂一些的函数都无能为力(比如最为典型的“异或”操作)。 随着数学的发展,这个缺点直到上世纪八十年代才被Rumelhart、Willia...转载 2018-05-18 21:43:38 · 16638 阅读 · 1 评论 -
【转载】 CNN(卷积神经网络)、RNN(循环神经网络)、DNN(深度神经网络)概念区分理解
本文为转载博文,原博文位置:http://blog.csdn.net/eddy_zheng/article/details/50763648 1、相关知识 从广义上来说,NN(或是更美的DNN)确实可以认为包含了CNN、RNN这些具体的变种形式。有很多人认为,它们并没有可比性,或是根本没必要放在一起比较。在实际应用中,所谓的深度神经网络DNN,往往融合了多种已知的结构,包括convolution...转载 2018-05-18 21:42:33 · 461 阅读 · 0 评论 -
【转载】基于Deep Learning的中文分词尝试
现有分词介绍 自然语言处理(NLP,Natural Language Processing)是一个信息时代最重要的技术之一,简单来讲,就是让计算机能够理解人类语言的一种技术。在其中,分词技术是一种比较基础的模块。对于英文等拉丁语系的语言而言,由于词之间有空格作为词边际表示,词语一般情况下都能简单且准确的提取出来。而中文日文等文字,除了标点符号之外,字之间紧密相连,没有明显的词边界,因此很难将词提...转载 2018-05-18 21:41:13 · 344 阅读 · 0 评论 -
激活函数、损失函数及其优化方法总结
1.1 激活函数 关于激活函数,首先要搞清楚的问题是,激活函数是什么,有什么用?不用激活函数可不可以?答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习能力。 那么激活函数应该具有什么样的性质呢? ...转载 2018-05-18 21:39:16 · 4000 阅读 · 0 评论 -
【转载】一份不可多得的深度学习技巧指南
本文来自云栖社区: https://yq.aliyun.com/articles/221611 常言道,师傅领进门,修行靠个人,相信很多人或多或少是在别人的建议或带领下步入深度学习这个大坑,然后师傅说深度学习是个玄学,后面就靠个人修行,瞬间就懵了对不对?可能后面经过自己不断实验积累相关经验,会有一些自己的学习心得。本文可谓是深度学习中的一份秘籍,帮助你少走一些弯路。在本文中,列举了一些常用的机...转载 2018-05-18 21:37:35 · 355 阅读 · 0 评论 -
深度学习(一)TensorFlow入门教程集合
TensorFlow入门教程之0: BigPicture&极速入门TensorFlow入门教程之1: 基本概念以及理解TensorFlow入门教程之2: 安装和使用TensorFlow入门教程之3: CNN卷积神经网络的基本定义理解TensorFlow入门教程之4: 实现一个自创的CNN卷积神经网络TensorFlow入门教程之5: TensorBoard面板可视化管理TensorFlow...转载 2018-06-04 17:07:33 · 416 阅读 · 0 评论