2018年05月_Ivy_daisy

转载深度学习的activation function

转载自：https://zhuanlan.zhihu.com/p/25110450TLDR (or the take-away)优先使用ReLU (Rectified Linear Unit) 函数作为神经元的activation function:背景深度学习的基本原理是基于人工神经网络，信号从一个神经元进入，经过非线性的activation function，传入到下一层神经元；再经过该层神经...

2018-05-31 19:16:07 440

转载深度学习中常见的优化方法（from SGD to AMSGRAD）和正则化技巧

转载自【泡泡机器人原创专栏】https://mp.weixin.qq.com/s/NmSVXezxsQOZzK8pne3pCw一．优化方法这里介绍的优化方法包括:SGD,两种带动量的SGD,AdaGrad,RMSProp,Adadelta,Adam, AMSGRAD，基本涵盖了常用的一些优化算法。先介绍一下优化方法，这里需要注意一下，在深度学习当中，优化的问题是在于鞍点而不是所谓的局部最小值点，在...

2018-05-30 21:42:52 3053 1

转载 The Activation Function in Deep Learning 浅谈深度学习中的激活函数

原文地址：http://www.cnblogs.com/rgvb178/p/6055213.html版权声明：本文为博主原创文章，未经博主允许不得转载。激活函数的作用首先，激活函数不是真的要去激活什么。在神经网络中，激活函数的作用是能够给神经网络加入一些非线性因素，使得神经网络可以更好地解决较为复杂的问题。比如在下面的这个问题中：如上图(图片来源)，在最简单的情况下，数据是线性可分的，只需要一条直...

2018-05-29 19:16:54 319

转载 AdaGrad - Adaptive Subgradient Methods

AdaGrad - Adaptive Subgradient Methodshttps://cs.stanford.edu/~ppasupat/a9online/1107.htmlAdaGrad is an optimization method that allows different step sizes for different features. It increases the in...

2018-05-16 11:14:07 951

转载 Stochastic Gradient Descent vs Batch Gradient Descent vs Mini-batch Gradient Descent

梯度下降是最小化风险函数/损失函数的一种经典常见的方法，下面总结下三种梯度下降算法异同。1、批量梯度下降算法（Batch gradient descent）以线性回归为例，损失函数为BGD算法核心思想为每次迭代用所有的训练样本来更新Theta，这对于训练样本数m很大的情况是很耗时的。BGD算法表示为或者表示为其中X(m*n)为训练样本矩阵，α为学习速率，m为样本数，y(m*1)为样本结...

2018-05-16 10:00:31 287

转载反向传播神经网络 BP

我一直在找一份简明的神经网络入门，然而在中文圈里并没有找到。直到我看到了这份162行的Python实现，以及对应的油管视频之后，我才觉得这就是我需要的极简入门资料。这份极简入门笔记不需要突触的图片做装饰，也不需要赘述神经网络的发展历史；要推导有推导，要代码有代码，关键是，它们还对得上。对于欠缺的背景知识，利用斯坦福大学的神经网络wiki进行了补全。单个神经元神经网络是多个“神经元”（感知机）的带权...

2018-05-09 11:25:27 467

转载几种常见的激活函数

1. sigmod函数函数公式和图表如下图在sigmod函数中我们可以看到，其输出是在(0,1)这个开区间内，这点很有意思，可以联想到概率，但是严格意义上讲，不要当成概率。sigmod函数曾经是比较流行的，它可以想象成一个神经元的放电率，在中间斜率比较大的地方是神经元的敏感区，在两边斜率很平缓的地方是神经元的抑制区。当然，流行也是曾经流行，这说明函数本身是有一定的缺陷的。1) 当输入稍微远离了坐...

2018-05-09 11:23:46 1914

转载关于深度学习优化器 optimizer 的选择，你需要了解这些

雷锋网按：本文作者杨熹，原文载于作者个人博客，雷锋网(公众号：雷锋网)已获授权在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是 Adam，为什么呢？下面是 TensorFlow 中的优化器：详情参见：https://www.tensorflow.org/api_guides/python/train在 keras 中也有 SGD，RMSprop，Adagrad，Adadelta，Ada...

2018-05-09 11:22:18 874

转载 RNN以及LSTM的介绍和公式梳理

（转载）前言好久没用正儿八经地写博客了，csdn居然也有了markdown的编辑器了，最近花了不少时间看RNN以及LSTM的论文，在组内『夜校』分享过了，再在这里总结一下发出来吧，按照我讲解的思路，理解RNN以及LSTM的算法流程并推导一遍应该是没有问题的。RNN最近做出了很多非常漂亮的成果，比如Alex Graves的手写文字生成、名声大振的『根据图片生成描述文字』、输出类似训练语料的文字等应用...

2018-05-04 13:56:26 216

转载隐马尔可夫模型（HMM）攻略

隐马尔可夫模型 (Hidden Markov Model，HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中，随后在语言识别，自然语言处理以及生物信息等领域体现了很大的价值。平时，经常能接触到涉及 HMM 的相关文章，一直没有仔细研究过，都是蜻蜓点水，因此，想花一点时间梳理下，加深理解，在此特别感谢 52nlp 对 HMM 的详细介绍。　　考虑下面交通灯的例子，一个序...

2018-05-04 13:49:45 336

转载交叉熵代价函数(损失函数)及其求导推导

前言交叉熵损失函数交叉熵损失函数的求导前言说明：本文只讨论Logistic回归的交叉熵，对Softmax回归的交叉熵类似。首先，我们二话不说，先放出交叉熵的公式： J(θ)=−1m∑i=1my(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i))),J(θ)=−1m∑i=1my(i)log⁡(hθ(x(i)))+(1−y(i))log⁡(1−hθ(x(i))),以及J(θ...

2018-05-04 13:29:12 1006

转载 Launch 文件

1 使用Launch文件 2 创建Launch文件 3 在namespace中启动nodes 4 remapping names 5 其他的launch元素 1 使用launch文件Launch文件是ROS提供的，可以同时运行多个nodes的文件。Launch文件以一种特殊的XML格式编写，在ROS packages中使用广泛。1.1 运行launch文件$ roslaunch pac...

2018-05-02 10:49:07 417

Suo_ivy的博客