深度学习
文章平均质量分 73
深度学习入门及总结
萤火虫之暮
这个作者很懒,什么都没留下…
展开
-
语音特征提取: MFCC的理解
文章目录1. 一般wav提取特征的方式:2. 什么是MFCC:3. 什么求倒谱:4. 什么是频谱的包络:5.如何获取频谱的包络:1. 一般wav提取特征的方式:2. 什么是MFCC:在mel-spectrum上取对数,再做傅里叶变换得到的特征,就是MFCCs。这个过程可以概括为对mel-spectrum求倒谱。3. 什么求倒谱:求倒谱 就是对频谱取对数,再做傅里叶变换,又回去了。实...原创 2019-04-12 11:43:18 · 2140 阅读 · 0 评论 -
Ubuntu 16.04 LTS 在anaconda环境下安装pytorch和tensorflow gpu,cuda10.0
文章目录准备更新笔记本的显卡驱动到较新的,最好是倒数第二新的版本安装cuda和cudnn:安装conda:安装tensorflow-gpu:安装pytorch:安装jupyter notebook:安装spyder:base 安装spyder,切换使用虚拟环境的kernel:每个虚拟环境均安装一个安装spyder:准备最新的Anaconda:https://mirrors.tuna.tsin...原创 2019-05-05 17:45:12 · 2374 阅读 · 0 评论 -
深度学总结:RNN训练需要注意地方:pytorch每一个batch训练之前需要把hidden = hidden.data,否者反向传播的梯度会遍历以前的timestep
pytorch每一个batch训练之前需要把hidden = hidden.data,否者反向传播的梯度会遍历以前的timesteptensorflow也有把new_state更新,但是没有明显detach的操作,预计是tensorflow自己机制默认backpropagation一个timestep的梯度: for e in range(epochs): # Train...原创 2019-02-21 09:54:19 · 2226 阅读 · 2 评论 -
深度学总结:Image Style Transfer pytorch方式实现,这个是非基于autoencoder和domain adversrial方式
文章目录论文链接:主要思路:pytorch实现:计算content的Loss:计算style 的Loss:计算total的Loss:训练过程:论文链接:https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys_Image_Style_Transfer_CVPR_2016_paper.pdf主要思路:1、想...原创 2019-02-20 16:26:22 · 947 阅读 · 0 评论 -
深度学总结:CNN Decoder, Upsampling的处理
CNN Decoder, 需要做Upsampling:金字塔结构收缩的dimensions要膨胀回来,处理方法就是Upsampling,直接复制(容易产生棋盘条纹),或者做内插interpolation,然后再做convolution:# define the NN architectureclass ConvAutoencoder(nn.Module): def __init__(...原创 2019-02-20 12:46:10 · 1972 阅读 · 0 评论 -
深度学总结:weight_initialization
weight_initializationOccam’s razor:简单一刀切设置0或者1General rule for setting weightsThe general rule for setting the weights in a neural network is to set them to be close to zero without being too small...原创 2019-02-20 11:59:43 · 196 阅读 · 0 评论 -
深度学习总结:Tensorboard可视化里面的events, graph, histogram
Tensorboard可视化里面的evens, graph, histogramgraph:显示整个静态图tf.variable_scope就是用于放graph,tf.name_scope用的少了,因为w,b已经被封装了。with tf.variable_scope('Inputs'): tf_x = tf.placeholder(tf.float32, x.shape, name=...原创 2019-02-17 19:24:13 · 842 阅读 · 0 评论 -
深度学习总结:用pytorch做dropout和Batch Normalization时需要注意的地方,用tensorflow做dropout和BN时需要注意的地方,
用pytorch做dropout和BN时需要注意的地方pytorch做dropout:就是train的时候使用dropout,训练的时候不使用dropout,pytorch里面是通过net.eval()固定整个网络参数,没有dropout,BN参数固定,不会进行梯度的计算,啥意思就是相当于网络没看过test数据,理论上对所有的validation set都要使用net.eval()net....原创 2019-02-17 18:31:59 · 7241 阅读 · 4 评论 -
深度学习总结:GAN,3种方式实现fixedGtrainD,fixedDtrainG, retain, detach
文章目录retain和detach先更新D,再更新G,这个也是GAN论文的实现方式先更新G,再更新D,实际上他两谁先谁后都一样,都是相互对抗:第三种是第一种的改进, 先更新D,再更新G,计算最少,还没见到别人实现,估计知名框架这么实现,每具体检查过:retain和detachpytorch有两个功能:retain和detach:retain:意思是保持原来graph,可以还在原图上进行for...原创 2019-02-17 15:08:59 · 595 阅读 · 0 评论 -
深度学习总结:DQN原理,算法及pytorch方式实现
文章目录Q-learning原理图Q-learning算法描述:pytorch实现:Q-network实现:DQN实现:2个Q-network,其中一个为target Q-network;take action获取下一步的动作,这个部分就是和环境互动的部分,选取动作是基于e-greedy来的;store transmitions就是保存数据,用于experience replay;最重要的是学习过...原创 2019-02-17 12:16:36 · 7506 阅读 · 1 评论 -
深度学习总结:pytorch构建RNN和LSTM,对比原理图加深理解
RNN和LSTM的PCB板:先看LSTM:必须清楚的知道每一个变量的形状:1、h,c,以及y经过线性变换前都是hidden_size的;2、矩阵形式的形状如下: # x shape (batch, time_step, input_size) # r_out shape (batch, time_step, output_size) # h...原创 2019-02-17 10:35:27 · 1022 阅读 · 0 评论 -
Win10 ancona傻瓜安装tensorflow-gpu,ancona傻瓜安装pytorch-gpu
楔子之前是在ubuntu16.04LTS上安装的是python2.7非anconda方式的tensorflow-gpu。1、学习使用一段时间后python2.7有点坑,网上的好多代码不能直接运行,比如:无法使用**表示keywords dic;2、而且在ubuntu使用spyder始终无法实现汉字的输入,对于学习阶段注释很重要,很不方便;3、后来偶然使用wintogo制作了一个win10的...原创 2019-04-22 23:17:22 · 1213 阅读 · 0 评论 -
深度学习实践总结:Sentiment Classification & How To "Frame Problems" for a Neural Network
原创 2019-02-15 19:18:29 · 395 阅读 · 0 评论 -
深度学习总结:continuous actions和asyncronous advanteage actor-critic
原创 2019-02-13 17:14:22 · 253 阅读 · 0 评论 -
深度学习总结:GAN 和 conditiaoal GAN
原创 2019-02-08 16:22:34 · 243 阅读 · 0 评论 -
深度学习:卷积层的实现
文章目录卷积层的数据shape和普通层的数据shape差别:卷积层实现实现池化层实现 CNN 中的特殊层结构实现 LayerFactory网络结构卷积层的数据shape和普通层的数据shape差别:针对一般图像数据shape: Npq,图像就是二维浮点数据,N为数据个数,p,q为图像的维度。卷积层的中间层数据shape: Npq*r,r为channels。数据的shape必须非常清楚,因为...原创 2019-01-19 21:11:00 · 1320 阅读 · 0 评论 -
深度学习:dropout和BN的实现
文章目录dropoutBNdropoutdropout可以看成是正则化,也可以看成是ensembleclass Dropout(SubLayer): # self._prob:训练过程中每个神经元被“留下”的概率 def __init__(self, parent, shape, drop_prob=0.5): if drop_prob < 0 or d...原创 2019-01-17 14:38:14 · 1093 阅读 · 0 评论 -
深度学习:CNN概念介绍
文章目录CNN主要思想:CNN不同channels处理:CNN与NN的不同:stride和padding:CNN和FC:池化(pooling):CNN主要思想:局部连接(Sparse Connectivity)权值共享(Shared Weights)CNN不同channels处理:CNN与NN的不同:1、接收的输入的形式不同2、层与层之间的连接方式不同CNN可以接受原始的数据输出...原创 2019-01-14 14:39:22 · 846 阅读 · 0 评论 -
深度学习:tensorflow 的整体实现,numpy实现深度学习(三)
文章目录tensorflow 的整体实现需要的变量:添加层的处理:优化器的处理:前向传播的处理:更新权重:训练:预测:tensorflow 的整体实现需要的变量:首先我们需要记录所有层,已经所有的权重信息,需要两个优化器,添加层时当前层的神经元个数class NaiveNN: def __init__(self): # 记录所有的layer self....原创 2019-01-13 23:02:16 · 247 阅读 · 0 评论 -
深度学习:tensorflow Layers的实现,numpy实现深度学习(二)
基类Layer的实现:前面已经提到过一个layer的包含:shape,激活函数,梯度的处理以及输出层的处理。import numpy as npclass Layer: def __init__(self, shape): self.shape = shape def _activate(self, x, predict): pass ...原创 2019-01-13 22:31:13 · 205 阅读 · 0 评论 -
深度学习:优化器工厂,各种优化器介绍,numpy实现深度学习(一)
简单概括参数更新:1、更新方向不是简单地取为梯度2、学习速率不是简单地取为常值都是使用局部梯度delta来更新参数:我们一般使用修正后的delta:优化器Vanilla Update...原创 2019-01-13 13:16:51 · 644 阅读 · 0 评论 -
深度学习:tensorflow层次结构,朴素NN代码实现tensorflow
文章目录tensorflow层次结构layer的实现:利用layer构建网络:构建网络需要的变量:添加layers:前向传播处理(损失处理在最后一层):完整构建网络,训练fit():测试代码:tensorflow层次结构构成基本部件就是layer,一个layer除了包含其shape,还有其weights,shape和weights构成了layer的基础。通常我们构建网络代码如下:这个就是一...原创 2019-01-11 17:12:59 · 717 阅读 · 0 评论 -
深度学习:反向传播(back-propagation)
反向传播(back-propagation)首先我们处理神经网络是是整层整层的处理,编码的时候就是这么处理的,也就是处理的对象是矩阵。向量的处理方式,只是帮助理解概念。定义一个仅由当前层数据和下一层传回的梯度决定的局部梯度...原创 2019-01-09 17:16:21 · 428 阅读 · 0 评论 -
深度学习:tensorflow的简单用法,tensorflow实现SVM
文章目录tensorflow整体理解tensorflow框架tensorflow训练tensorflow基本操作对象常量:就是已经确定的对象可训练变量:就是需要训练的变量对象不可可训练变量:就是不需要训练的变量对象,GAN里有用变化的常量:分批训练,miniBatch是常量,但是它是需要变化的,可以成为块变量,使用“占位符”更能代表他的含义。训练操作工具:session()tensorflow实现...原创 2019-01-09 16:48:59 · 2166 阅读 · 0 评论 -
深度学习:神经网络,softmax + cross entropy,非tensorflow方式
文章目录softmaxsoftmax 的损失函数:交叉熵交叉熵求偏导代码实现代码测试:附录:交叉熵求偏导推导:softmaxsoftmax函数所表示的可以看成为对分类结果的概率分布。softmax 的损失函数:交叉熵他可以规避sigmoid函数梯度消失的问题。交叉熵求偏导可以看出和MSE是一模一样的代码实现class NN: def __init__(self, ws...原创 2019-01-07 15:24:17 · 276 阅读 · 0 评论 -
深度学习:从MLP到朴素的神经网络
文章目录神经网络都干了些什么?分类的理解:从这个角度再看神经网络:神经网络都干了些什么?分类的理解:首先我们需要了解一下,分类的过程究竟干了些什么?一个数据,m维features,最后给这个数组一个类别class,其中class的数目是远远小于features的数目的。从这个角度来说,分类过程就是提炼或者成为简化features的过程。从这个角度再看神经网络:input_layer ...原创 2019-01-07 11:58:21 · 532 阅读 · 0 评论