深度学习
nwnlp
这个作者很懒,什么都没留下…
展开
-
深度神经网络调参之激活函数
神经网络本质上是利用线性变换加激活函数达到非线性变换的效果,从而将原始的输入空间特征投向稀疏可分的空间。最后去做分类或者回归。正是因为有激活函数,才使得神经网络有能力去模拟出任意一个函数。 本文简单介绍下常见的激活函数,以及它们各自的优缺点。sigmoid 上图是sigmoid函数的图像,表达式为σ(x)=1/(1+e−x)σ(x)=1/(1+e−x)\sigma(x) = 1 /...原创 2018-04-11 18:21:13 · 1019 阅读 · 0 评论 -
RNN(循环神经网络)详解
Why RNN通常我们在用CNN或者其他分类器做图像识别的时候是把每张图片作为一个独立的事物来对待的,也就是图片与图片是没有任何关联的,这也是正确的。 然而,我们在做词性标注的时候,例如:我爱你。“爱“这个词可以是动词,或者名词。如果我们把“爱“这个词独立出来对它来分类的话,那就是50%的概率是动词,50%的概率是名词。显然,这样的做法是不对的,我们人在对“爱“做词性标注的时候,大脑潜意识地...原创 2018-03-16 14:06:38 · 3132 阅读 · 0 评论 -
简单语音识别实现
本文主要介绍如何实现一个简单的语音识别系统,识别的是英文0-9十个英文单词 首先介绍下实现的思路: 1.对语音wav文件进行mfcc特征提取(这一步由librosa完成,细节可以不care) 2.对得到的数据进行归一化 3.使用CNN神经网络对归一化的数据进行分类源代码cnn-asr特征提取实现代码def read_files(files): labels ...原创 2018-03-08 10:15:31 · 12952 阅读 · 10 评论 -
深度神经网络调参之损失函数
TED有这样一个演讲How to learn from mistakes,演讲者主要分享了一些学习的体会,其中最主要的就是如何从自己犯过的错误中学习。我们自己学习工作中应该很有体会,踩过的坑下次就知道了。相反如果学习过程中一点错误都没用,那就需要担心自己的学习效率了。 好了,这里不是鸡汤文,还是谈谈正题吧。梯度消失我们同样希望自己搭建出来的神经网络能够从它的错误中学得最快,当然它们的...原创 2018-03-06 15:34:35 · 2344 阅读 · 0 评论 -
深度神经网络调参之权值初始化
在玩dota类游戏的时候,局势情况不好的情况下,新手的第一反应就是队友傻逼,然后想着就投降。老玩家呢往往先看看是不是自身问题。不仅游戏,很对地方都是如此,新人在使用神经网络的时候,在发现最终的结果不好的情况下,想着就是模型算法本身的问题,然后换成其他的模型算法,这样往往结果并没有改善。老手们往往会检查许多方面,看看数据本身是否有异常,网络结构编写是否有问题,是否出现了过拟合现象等等。本文主要谈...原创 2018-02-28 21:16:11 · 1494 阅读 · 0 评论 -
CNN(卷积神经网络)详解
Why CNN首先回答这样一个问题,为什么我们要学CNN,或者说CNN为什么在很多领域收获成功?还是先拿MNIST来当例子说。MNIST数据结构不清楚的话自行百度。。我自己实验用两个hidden layer的DNN(全连接深度神经网络)在MNIST上也能取得不错的成绩(98.29%)。下面是一个三个hidden layer的网络结构图 盗图1全连接深度神经网络,顾名思义,每个神经...原创 2018-02-26 20:23:22 · 324998 阅读 · 39 评论