Deep Learning
文章平均质量分 75
Donny-You
stay hungry, stay foolish!!!
展开
-
什么是超参数
当参数时随机变量时,该参数分布中的参数就是超参数,简单的说就是参数的参数,感觉一般在贝叶斯方法中出现所谓超参数,就是机器学习模型里面的框架参数,比如聚类方法里面类的个数,或者话题模型里面话题的个数等等,都称为超参数。它们跟训练过程中学习的参数(权重)是不一样的,通常是手工设定,不断试错调整,或者对一系列穷举出来的参数组合一通枚举(叫做网格搜索)。深度学习和神经网络模型,有很多这转载 2016-12-06 21:27:45 · 9202 阅读 · 0 评论 -
循环神经网络
本文的概念和结构部分摘自循环神经网络惊人的有效性(上),代码部分来自minimal character-level RNN language model in Python/numpy 我对代码做了详细的注释循环神经网络序列 普通神经网络和卷积神经网络的一个显而易见的局限就是他们的API都过于限制:他们接收一个固定尺寸的向量作为输入(比如一张图像),并且产生一个固定尺寸的向量作转载 2017-01-03 14:31:50 · 1291 阅读 · 0 评论 -
深度学习中优化方法总结
最近在看Google的Deep Learning一书,看到优化方法那一部分,正巧之前用tensorflow也是对那些优化方法一知半解的,所以看完后就整理了下放上来,主要是一阶的梯度法,包括SGD, Momentum, Nesterov Momentum, AdaGrad, RMSProp, Adam。 其中SGD,Momentum,Nesterov Momentum是手动指定学习速率的,而后面的A转载 2017-01-03 12:51:43 · 3153 阅读 · 0 评论 -
深度学习中的激活函数和损失函数
3. 激活函数和损失函数3.1 激活函数关于激活函数,首先要搞清楚的问题是,激活函数是什么,有什么用?不用激活函数可不可以?答案是不可以。激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线性映射学习转载 2017-01-03 12:11:43 · 3629 阅读 · 0 评论 -
深度学习性能提升的诀窍
原文: How To Improve Deep Learning Performance作者: Jason Brownlee你是如何提升深度学习模型的效果? 这是我经常被问到的一个问题。有时候也会换一种问法:我该如何提高模型的准确率呢? ……或者反过来问:如果我的网络模型效果不好,我该怎么办?通常我的回答是“具体原因我不清楚,但我有一些想法可以试试”。然后我会列举一些我认为能够提升转载 2017-01-01 22:42:16 · 1179 阅读 · 0 评论 -
深入理解CNN相关细节
数据预处理(Data Preprocessing)零均值化(Mean subtraction)为什么要零均值化?人们对图像信息的摄取通常不是来自于像素色值的高低,而是来自于像素之间的相对色差。零均值化并没有消除像素之间的相对差异(交流信息),仅仅是去掉了直流信息的影响。数据有过大的均值也可能导致参数的梯度过大。如果有后续的处理,可能要求数转载 2016-12-17 10:38:39 · 1471 阅读 · 0 评论 -
Caffe、TensorFlow、MXnet三个开源库对比
Caffe、TensorFlow、MXnet三个开源库对比发表于 2015-11-18 | 分类于 project experience | 36条评论 | 2589最近Google开源了他们内部使用的深度学习框架TensorFlow,结合之前开源的MXNet和Caffe,对三个开源库进行了比较,其中只有Caffe比较仔细的看过源代码,其他的两个库仅阅读官方文档和一些研究者的评论转载 2016-12-15 21:18:04 · 721 阅读 · 0 评论 -
理解 LSTM 网络
Recurrent Neural Networks人类并不是每时每刻都从一片空白的大脑开始他们的思考。在你阅读这篇文章时候,你都是基于自己已经拥有的对先前所见词的理解来推断当前词的真实含义。我们不会将所有的东西都全部丢弃,然后用空白的大脑进行思考。我们的思想拥有持久性。传统的神经网络并不能做到这点,看起来也像是一种巨大的弊端。例如,假设你希望对电影中的每个时间点的时间类型进行分类。传统转载 2016-09-24 18:07:28 · 1412 阅读 · 0 评论 -
专家观点碰撞:深度学习能否取代其他机器学习算法
摘要:深度学习在最近两年非常火爆,但深度学习能否取代其他机器学习算法?纽约大学研究生Ran Bi根据Quora上的一个讨论总结了不同的观点,CSDN编辑将其翻译如下,并加上一些国内人工智能专家的观点,供大家参考。【编者按】深度学习在最近两年非常火爆,但深度学习能否取代其他机器学习算法?纽约大学研究生Ran Bi根据Quora上的一个讨论总结了不同的观点,CSDN编辑将其翻译如下,并转载 2016-10-25 21:29:04 · 2077 阅读 · 0 评论 -
人工智能和深度学习资源汇总
一、机器学习· 对于机器学习领域最好的介绍,请在Coursera上观看Andrew Ng 的Machine Learning course。这门课解释了该领域的基本概念,并且能让学者很好的理解重要算法。· 对于 ML 算法的简要概述,请看TUtsPlus课程“Machine Learning Distilled”。·《集体智慧编程》一书是学习 ML 算法在 Python 中转载 2016-11-03 22:10:56 · 1265 阅读 · 0 评论 -
Softmax回归详解
简介在本节中,我们介绍Softmax回归模型,该模型是logistic回归模型在多分类问题上的推广,在多分类问题中,类标签 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的,该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的,不过后面也会介绍它与深度学习/无监督学习方法的结合。(译者注: MNIST 是一个手写数字识别库,由转载 2016-12-05 10:34:56 · 3518 阅读 · 1 评论 -
RNN以及LSTM的介绍和公式梳理
前言好久没用正儿八经地写博客了,csdn居然也有了markdown的编辑器了,最近花了不少时间看RNN以及LSTM的论文,在组内『夜校』分享过了,再在这里总结一下发出来吧,按照我讲解的思路,理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果,比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文转载 2016-12-05 14:39:37 · 621 阅读 · 0 评论 -
Encoder-Decoder模型和Attention模型
这两天在看attention模型,看了下知乎上的几个回答,很多人都推荐了一篇文章Neural Machine Translation by Jointly Learning to Align and Translate 我看了下,感觉非常的不错,里面还大概阐述了encoder-decoder(编码)模型的概念,以及传统的RNN实现。然后还阐述了自己的attention模型。我看了一下,自己做了一些转载 2017-01-03 18:30:07 · 2041 阅读 · 0 评论