机器学习
WePlayDirty
emmmmmmm
展开
-
语音识别学习日志 2018-7-23 [ Hello TensorFlow ]
今天CNN的理解写了一半,感觉理解的不够深刻,就打算先实现几个例子再接着看理论。之后就了解了一下TensorFlow。python版的tensorflow就是一个工具包,使用pip安装就行了。有CPU和GPU两个版本,刚开始用,安装CPU版本的试一试。谷歌给了几个tensorflow的安装方式,无非就是使用虚拟环境或者装在Docker中,也可以使用Anaconda安装,安装过程不再赘述,具体可...原创 2018-07-23 21:44:04 · 2174 阅读 · 0 评论 -
语音识别学习日志 2018-7-24 [MLP实践(MNIST数据集)]
今天实现了一下MLP。先说几个函数的用法。1、在最小化损失的时候,经常使用的一个函数就是tf.nn.softmax_cross_entropy_with_logits(logits=,labels=,name=None).除去name参数用以指定该操作的name,与方法有关的一共两个参数:第一个参数logits:就是神经网络最后一层的输出,如果有batch的话,它的大小就是[batchsi...原创 2018-07-24 18:57:08 · 2586 阅读 · 2 评论 -
语音识别学习日志 2018-7-25 [softmax溢出的解决(softmax结果张量中的元素大部分是0或1)]
昨天做的MLP,网络中每一层都没用任何激活函数,所以输出层的结果_logits中的部分数值比较大(绝对值在3000左右)。最后使用softmax函数对输出层进行处理得到各个结果的概率,发现训练的结果很不理想,准确率在50%以下。最后发现softmax的结果大部分是[0,0,0,0,0,1,0,0,0,0]这种单位向量。最后又看了看softmax,softmax函数的定义如下: ...原创 2018-07-25 15:17:13 · 6532 阅读 · 1 评论 -
语音识别学习记录 [循环神经网络RNN、LSTM介绍及实现]
RNN简介RNN结构Back Propagation Through Time(BPTT)训练Long Short-Term Memory(LSTM,长短时记忆网络)上文的介绍转自RNN-循环神经网络和LSTM-01基础。下面是我用tensorflow实现的一个简单RNN的样例。from __future__ import ...原创 2018-07-28 16:31:14 · 13714 阅读 · 2 评论 -
语音识别学习记录 [关于tensorflow.nn.conv2d方法的padding参数]
先看一下tensorflow.nn.conv2d 的说明:tf.nn.conv2d 卷积函数参数 input 输入图像 四维,shape如[batch, in_height, in_width, in_channels] 参数 filter 卷积核 四维,shape如[filter_height, filter_width, in_channels, out_channels] 参数 ...原创 2018-07-28 17:21:56 · 2765 阅读 · 0 评论 -
语音识别学习记录 [TDNN时延神经网络]
最近了解了卷积神经网络(CNN),CNN是受语音信号处理中时延神经网络(TDNN)影响而发明的。本篇的大部分内容都来自关于TDNN原始文献Waibel A, Hanazawa T, Hinton G, et al. Phoneme recognition using time-delay neural networks[J] (TDNN的原始论文)的理解和整理。该文写与1989年,在识别"B", ...转载 2018-07-29 15:48:42 · 3639 阅读 · 0 评论 -
机器学习中的熵、条件熵、相对熵和交叉熵(为何使用交叉熵作为损失函数)
1、信息熵 (information entropy) 熵 (entropy) 这一词最初来源于热力学。1948年,克劳德·爱尔伍德·香农将热力学中的熵引入信息论,所以也被称为香农熵 (Shannon entropy),信息熵 (information entropy)。本文只讨论信息熵。首先,我们先来理解一下信息这个概念。信息是一个很抽象的概念,百度百科将它定义为:指音讯、消息、通讯系统...转载 2018-09-10 21:18:39 · 3774 阅读 · 0 评论 -
RBM&DBN
懒癌晚期GGhttps://blog.csdn.net/hanzihan123/article/details/23707143转载 2018-10-17 20:16:01 · 1303 阅读 · 1 评论