自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 深度学习总结:cycleGAN原理,实现图片风格切换,可以和之前的伪DL方式对比一下,pytoch实现

文章目录cycleGAN原理一般的unsupervised conditional generation的处理办法cycleGAN处理unsupervised conditional generation的办法:比较正常的思路:cycleGAN的思路:cycleGAN实现:Discriminato...

2019-02-22 12:41:16

阅读数 608

评论数 0

原创 深度学总结:skip-gram pytorch实现

文章目录skip-gram pytorch 朴素实现网络结构训练过程:使用nn.NLLLoss()batch的准备,为unsupervised,准备数据获取(center,contex)的pair:采样时的优化:降低高频词的概率skip-gram 进阶的方法 skip-gram pytorch 朴...

2019-02-21 11:12:02

阅读数 1188

评论数 0

原创 深度学总结:RNN训练需要注意地方:pytorch每一个batch训练之前需要把hidden = hidden.data,否者反向传播的梯度会遍历以前的timestep

pytorch每一个batch训练之前需要把hidden = hidden.data,否者反向传播的梯度会遍历以前的timestep tensorflow也有把new_state更新,但是没有明显detach的操作,预计是tensorflow自己机制默认backpropagation一个times...

2019-02-21 09:54:19

阅读数 411

评论数 2

原创 深度学总结:Image Style Transfer pytorch方式实现,这个是非基于autoencoder和domain adversrial方式

文章目录论文链接:主要思路:pytorch实现:计算content的Loss:计算style 的Loss:计算total的Loss:训练过程: 论文链接: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Gatys...

2019-02-20 16:26:22

阅读数 472

评论数 0

原创 深度学总结:CNN Decoder, Upsampling的处理

CNN Decoder, 需要做Upsampling: 金字塔结构收缩的dimensions要膨胀回来,处理方法就是Upsampling,直接复制(容易产生棋盘条纹),或者做内插interpolation,然后再做convolution: # define the NN architecture ...

2019-02-20 12:46:10

阅读数 372

评论数 0

原创 深度学总结:weight_initialization

weight_initialization Occam’s razor:简单一刀切设置0或者1 General rule for setting weights The general rule for setting the weights in a neural network is to s...

2019-02-20 11:59:43

阅读数 40

评论数 0

原创 tensorflow学习:分布式tensorflow使用,代码实现inGraph方式

文章目录什么叫distributed tensorflow training,它到底干什么?Clustermaster和workersclient最简单的模型Client---Master(worker)代码实现:Master(worker):即当老板又当员工,属于个体户,local就不用接受任务...

2019-02-18 16:10:29

阅读数 186

评论数 0

原创 深度学习总结:tensorflow和pytorch关于RNN的对比,tf.nn.dynamic_rnn,nn.LSTM

tensorflow和pytorch关于RNN的对比: 可以明显看出pytorch封装更高,更容易理解,动态图的优势。 ## tensorflow # RNN # num_units=64代表h_t,c_t的维度 rnn_cell = tf.contrib.rnn.BasicLSTMCell(nu...

2019-02-17 20:11:42

阅读数 443

评论数 0

原创 深度学习总结:Tensorboard可视化里面的events, graph, histogram

Tensorboard可视化里面的evens, graph, histogram graph:显示整个静态图 tf.variable_scope就是用于放graph,tf.name_scope用的少了,因为w,b已经被封装了。 with tf.variable_scope('Inputs...

2019-02-17 19:24:13

阅读数 206

评论数 0

原创 深度学习总结:用pytorch做dropout和Batch Normalization时需要注意的地方,用tensorflow做dropout和BN时需要注意的地方,

用pytorch做dropout和BN时需要注意的地方 pytorch做dropout: 就是train的时候使用dropout,训练的时候不使用dropout, pytorch里面是通过net.eval()固定整个网络参数,没有dropout,BN参数固定,不会进行梯度的计算,啥意思就是相当于网...

2019-02-17 18:31:59

阅读数 1871

评论数 0

原创 深度学习总结:GAN,3种方式实现fixedGtrainD,fixedDtrainG, retain, detach

文章目录retain和detach先更新D,再更新G,这个也是GAN论文的实现方式先更新G,再更新D,实际上他两谁先谁后都一样,都是相互对抗:第三种是第一种的改进, 先更新D,再更新G,计算最少,还没见到别人实现,估计知名框架这么实现,每具体检查过: retain和detach pytorch有两...

2019-02-17 15:08:59

阅读数 89

评论数 0

原创 深度学习总结:GAN,原理,算法描述,pytoch实现

文章目录GAN的原理图:GAN的原版算法描述:pytorch实现构建generator和discriminator:生成fake data:生成real data:定义训练D的loss,定义训练G的loss, 实际就是forward pass:优化过程, 实际就是backward pass:为了实...

2019-02-17 14:32:50

阅读数 180

评论数 0

原创 深度学习总结:DQN原理,算法及pytorch方式实现

文章目录Q-learning原理图Q-learning算法描述:pytorch实现:Q-network实现:DQN实现:2个Q-network,其中一个为target Q-network;take action获取下一步的动作,这个部分就是和环境互动的部分,选取动作是基于e-greedy来的;st...

2019-02-17 12:16:36

阅读数 1172

评论数 0

原创 深度学习总结:pytorch构建RNN和LSTM,对比原理图加深理解

RNN和LSTM的PCB板: 先看LSTM: 必须清楚的知道每一个变量的形状: 1、h,c,以及y经过线性变换前都是hidden_size的; 2、矩阵形式的形状如下: # x shape (batch, time_step, input_size) # r_ou...

2019-02-17 10:35:27

阅读数 248

评论数 0

原创 深度学习实践总结:Sentiment Classification & How To "Frame Problems" for a Neural Network

2019-02-15 19:18:29

阅读数 69

评论数 0

原创 python学习:map()

Python map() 函数 描述 map() 会根据提供的函数对指定序列做映射。 第一个参数 function 以参数序列中的每一个元素调用 function 函数,返回包含每次 function 函数返回值的新列表。 语法 map() 函数语法: map(function, iterable...

2019-02-15 14:49:14

阅读数 45

评论数 0

原创 深度学习总结:continuous actions和asyncronous advanteage actor-critic

2019-02-13 17:14:22

阅读数 43

评论数 0

原创 深度学习总结:GAN 和 conditiaoal GAN

2019-02-08 16:22:34

阅读数 92

评论数 0

提示
确定要删除当前文章?
取消 删除