- 博客(36)
- 收藏
- 关注
转载 convolution
https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e58215
2019-05-10 08:54:57 291
转载 good guide
https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04e
2019-03-26 14:42:03 181
转载 GAN training
http://blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/Like a real counterfeit painter, G has a much tougher job compared to D. Creating content is hard, and even with the error...
2019-03-12 15:39:28 163
转载 tensorflow 预训练模型的导入
https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/helei001/article/details/53159690https://www.jianshu.com/p/...
2019-03-12 11:59:43 870
转载 loss function and tune hyperparameters for neural network
http://neuralnetworksanddeeplearning.com/chap3.html#the_cross-entropy_cost_function
2019-03-08 17:09:39 151
转载 convolution group
http://tflearn.org/layers/conv/https://tensorlayer.readthedocs.io/en/stable/_modules/tensorlayer/layers/convolution/group_conv.html
2019-03-06 10:38:59 120
转载 convolution group
https://www.jianshu.com/p/20150e44bde8https://edu.csdn.net/course/play/8320/171433?s=1
2019-03-05 10:44:12 112
原创 install process
https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04envidia-smiWed Feb 27 16:54:42 2019±------------------------------------------------------------------...
2019-02-27 19:21:37 211
原创 ubuntu remote ifconfig ifconfig enp0s31f6
ifconfigenp0s31f6 Link encap:Ethernet HWaddr b4:2e:99:29:40:e0inet addr:172.20.111.172 Bcast:172.20.111.255 Mask:255.255.255.0inet6 addr: 2001:250:3c02:74b:6894:2e06:1031:588a/64 Scope:Globalin...
2019-02-27 16:51:31 1193
转载 cuda cudnn version
nvcc --versionecho $LD_LIBRARY_PATHecho $CUDA_HOMEcat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR
2019-02-27 10:17:22 219
转载 convolution neural network
https://skymind.ai/wiki/convolutional-networkhttps://www.coursera.org/learn/convolutional-neural-networks
2019-02-26 14:40:31 263
原创 cuda cudnn version
yc@dl:~$ cat /etc/issueUbuntu 16.04.3 LTS \n \lyc@dl:~$ nvidia-smiSun Feb 24 21:07:40 2019±----------------------------------------------------------------------------+| NVIDIA-SMI 384.69 ...
2019-02-24 13:21:29 634
原创 GAN不稳定原因
生成对抗神经网络由两部分组成:生成器和判别器。判别器尽可能使D(G(Z))接近0,而生成器尽可能生成同分布高质量的样本使D(G(Z))接近1。当生成器和判别器的性能训练得足够好时,达到纳什均衡(生成器生成的G(Z)与训练数据有相同的分布,对于判别器的每个输入x, D(x)=0.5)生成器生成样本G(z)的损失函数取决于判别器的反馈。判别器判定样本为真的概率越高,生成器的损失函数越低。当样本趋向于...
2018-12-14 14:29:41 9876
原创 学习总结pool, data augmentation, inception
其他:Pooling(max, average)Data augmentation(mirroring, random crop, rottion, shearing, local warping, color shifting)GoogLeNet的核心:Inception结构
2018-12-01 11:29:29 112
原创 dropout
DropOut:在训练过程中对于特定的网络层一定比例(1-P)的神经元失效,使得不同的神经元学习到相同的“概念”,提高模型泛化能力。tensorflow中的dropout就是:使输入tensor中某些元素变为0,其它没变0的元素值变为原来的1/keep_prob大小,从而使dropout前后神经元的值的总和相差不大。keep_prob: A scalar Tensor with the sa...
2018-12-01 11:21:42 122
原创 Batch Normalization(BN)
N(0,1): 缓解效果差的初始化权重,帮助梯度流入深度网络层。BN让深度生成器开始学习,防止模式崩溃(所有的样本都生成到一个点,在生成对抗网络GAN里很常见)。但所有网络层都用BN会造成样本震荡和模型不稳定,所以在生成器的最后一层(输出层)和判别器的第一层(输入层)不要用BN。提高梯度流过网络允许更高的学习率减少初始化的依赖也可以看做是正则化的一种形式,减少用dropout的必要...
2018-12-01 11:20:44 288
原创 激活函数Relu
Relu=max(0,x)负数部分导数为0,正数部分导数为1, 在一定范围内的批量数据上训练时,有些神经元输出的数值为正数,平均的偏导在0到1之间靠近0,从而使梯度下降能够继续迭代。不会出现梯度消失。运算时间短, 比sigmoid计算效率高, not perform expensive exponential operations as in sigmoid。(对于前反馈和后反馈relu...
2018-12-01 11:17:48 445
原创 激活函数sigmoid 和softmax
Sigmoid在backpropagation时会造成梯度消失,初始化权重不要设太大,否则容易饱和没有梯度从而无法学习。对于softmax,有多个输出值,当输入值之间的差异变得极端时,这些输出值可能饱和,当softmax饱和时,基于softmax的许多代价函数也饱和,除非它们能够转化饱和的激活函数。Ian GoodFellow不建议在前反馈中用sigmoid和softmax, sigmo...
2018-12-01 11:14:55 824
原创 激活函数tanh
对于多层的神经网络,使用tanh(x)的困难在于: 在(-2,2)的区间以外,y趋于平坦不变。除非输入x在(-2,2),否则y的导数很小,从而很难通过梯度下降更新权重w, 这种情况在层数多的情况下会更严重。从而造成梯度消失的问题。梯度消失使得我们难以知道参数朝哪个方向移动能够改进代价函数,而梯度爆炸会使得学习不稳定,...
2018-12-01 11:12:07 1902
转载 DenseNet
由于变深的结构使模型丧失了学习到先前信息的能力,让优化变得极其困难。论文“Densely Connected Convolutional Networks”优点:缓解梯度消失问题,加强特征传播,特征重用,减少参数。bottleNeck layer:BN-ReLU-Conv(11)-BN-ReLU-Conv(33) version of Hl, as DenseNet-B....
2018-12-01 11:10:17 89
原创 基于GAN的半监督学习
Semi-supervised GAN 半监督学习更好的利用无标识数据,由于无标识数据和有标识数据有相同的数据分布。K+1类的识别是有效的,因为生成器生成的补充样本能促使判别器把分类边界置于低密度区域。好的semi-supervised GAN需要一个效果差的生成器,因为完美的生成器无法再提高。...
2018-12-01 11:01:45 989
翻译 GAN和VAEs关于KL散度的比较
Gan的优化目标是达到纳什均衡(为了使损失函数达到最优,生成器与判别器均不会单独改变而是互相对抗),从而尽可能准确的恢复P(data), variational autoEncoder方法通常能够获得很好的似然,但生成低质量的样本。GAN能生成更好的样本,但跟FVBNs,VAEs比起来,更难优化。 GAN能生成更真实的样本是因为GAN最小化Jensen-Shannon divergence, 而...
2018-12-01 08:58:58 1234 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人