![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
deeplearning
u012436149
这个作者很懒,什么都没留下…
展开
-
全连接与卷积计算的关系(全连接到全卷积)
全连接与卷积计算的关系全连接的输入:前一层激活函数的输出 全连接的输出:下一层激活函数的输入从图中可以看出,全连接的输出维度5,可以看做卷积计算中的channel。同样也可以看出,如果我们将全连接的输入reshape成[?, ?, in_channel],并将全连接的参数reshape成[?, ?,in_channel, out_channel],并将reshape后的值做卷积运算的话,发现,之前原创 2017-03-22 09:58:56 · 10482 阅读 · 2 评论 -
机器学习-音频资料总结
[1] Filter Banks And MFCC [2] Speech Recognization with Deep Learning [3] Digital Audio Fundamentals [4] ()原创 2018-03-13 17:40:54 · 1945 阅读 · 0 评论 -
pytorch学习笔记(十九):torchtext
文章部分翻译自 http://anie.me/On-Torchtext/ API一览torchtext.datatorchtext.data.Example : 用来表示一个样本,数据+标签torchtext.vocab.Vocab: 词汇表相关torchtext.data.Datasets: 数据集类,__getitem__ 返回 Example实例torchtext...原创 2018-02-11 13:47:04 · 51512 阅读 · 31 评论 -
tensorflow学习笔记(四十):tensorflow语音识别 及 python音频处理库
tensorflow 语音识别最近在做语音识别的项目,现在项目告一段落,就把最近碰到的东西做一个总结。一些资料 https://medium.com/@ageitgey/machine-learning-is-fun-part-6-how-to-do-speech-recognition-with-deep-learning-28293c162f7a https://distill.p...原创 2017-05-04 20:22:43 · 34536 阅读 · 2 评论 -
softmax交叉熵与最大似然估计
# softmax 交叉熵与最大似然估计其实我们常用的 softmax 交叉熵损失函数,和 最大似然估计是等价的。首先来看 softmax 交叉熵目标函数是什么样子的: 对于N个样本 obj=−∑nNy(n)jlogf(x(n);w)j=−∑nNlogf(x(n);w)j\begin{aligned}obj &= -\sum_n^N y^{(n)}_j\log f(x^{(n)};w)_j原创 2017-09-16 21:11:35 · 3879 阅读 · 6 评论 -
神经网络激活函数总结
激活函数总结sigmoidtanhReLULeaky ReLUMaxoutELUsigmoid数学表示: y=11+e−xy = \frac{1}{1+e^{-x}} 不建议使用,容易饱和tanh数学表示: y=e2x−1e2x+1y = \frac{e^{2x-1}}{e^{2x+1}}ReLU数学表示: y=max(0,x)y = max(0, x) 建议使用原创 2017-03-29 14:05:24 · 1358 阅读 · 0 评论 -
word2vec
word2vec为什么要进行embeddingword2vec就是对word进行embedding首先,我们知道,在机器学习和深度学习中,对word的最简单的表示就是使用one-hot([0,0,1,0,0…..]来表示一个word). 但是用one-hot表示一个word的话,会有一些弊端:从向量中无法看出word之间的关系((wworda)Twwordb=0(w^{word_a})^Tw^{wo原创 2016-11-18 11:03:42 · 1356 阅读 · 0 评论 -
tensorflow0.10.0 ptb_word_lm.py 源码解析
看一下大神写的代码,记一下笔记 源码来自git# Copyright 2015 The TensorFlow Authors. All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in comp原创 2016-10-17 14:49:07 · 5465 阅读 · 2 评论 -
neural turing machine:神经图灵机tensorflow源码注释
Neural Turing Machine论文地址 tensorflow源码地址 NTM结构图 lstm作为控制器 图中:A为控制器(为LSTM单元)write为write head, read 为 read_head 源码重点注释:ops.pyops.py中有两个函数,分别为linear() 、 Linear() ,这两个函数有什么区别呢, 看上图, linear 主要用于左下原创 2016-10-28 20:35:26 · 4508 阅读 · 2 评论 -
ptb_reader源码解析
源码来自git 。正在学习tensorflow,所以在此记一下笔记# Copyright 2015 The TensorFlow Authors. All Rights Reserved.## Licensed under the Apache License, Version 2.0 (the "License");# you may not use this file except in原创 2016-10-16 05:37:53 · 4608 阅读 · 4 评论 -
ubuntu16.04 mxnet
最近一直在配置深度学习的几个框架,坑无限多,在这里记录一下配置mxnet的过程。首先:安装依赖包sudo apt-get updatesudo apt-get install -y build-essential git libatlas-base-dev libopencv-dev第二步:下载+编译git clone --recursive https://github原创 2016-09-15 00:49:59 · 2155 阅读 · 0 评论 -
Learning to Learn by Gradient Descent by Gradient Descent网络前向计算图
Learning to Learn By Gradient Descent by Gradient Descent 前向计算图(黄色线表示梯度流动方向)Optimization as a Model For Few-Shot Learning前向计算图(黄色表示梯度流动方向)...原创 2019-08-23 17:38:03 · 784 阅读 · 0 评论