weixin_43698821的博客

转载 convolution

https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e58215

转载 good guide

https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04e

转载 TFFRCNN

https://blog.csdn.net/yuexin2/article/details/75019330

转载 cuda8.0 cuda 9.0

https://www.jianshu.com/p/f48a5c075d00

转载 faster Rcnn

https://blog.csdn.net/qq_39531954/article/details/78865452

转载 GAN training

http://blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/Like a real counterfeit painter, G has a much tougher job compared to D. Creating content is hard, and even with the error...

转载 tensorflow 预训练模型的导入

https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/helei001/article/details/53159690https://www.jianshu.com/p/...

转载 loss function and tune hyperparameters for neural network

http://neuralnetworksanddeeplearning.com/chap3.html#the_cross-entropy_cost_function

转载 convolution group

http://tflearn.org/layers/conv/https://tensorlayer.readthedocs.io/en/stable/_modules/tensorlayer/layers/convolution/group_conv.html

转载 convolution group

https://www.jianshu.com/p/20150e44bde8https://edu.csdn.net/course/play/8320/171433?s=1

转载 SEnet

https://zhuanlan.zhihu.com/p/29367273

原创 install process

https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04envidia-smiWed Feb 27 16:54:42 2019±------------------------------------------------------------------...

原创 ubuntu remote ifconfig ifconfig enp0s31f6

ifconfigenp0s31f6 Link encap:Ethernet HWaddr b4:2e:99:29:40:e0inet addr:172.20.111.172 Bcast:172.20.111.255 Mask:255.255.255.0inet6 addr: 2001:250:3c02:74b:6894:2e06:1031:588a/64 Scope:Globalin...

转载 cuda cudnn version

nvcc --versionecho $LD_LIBRARY_PATHecho $CUDA_HOMEcat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR

转载 Gcc

https://ywnz.com/linuxjc/2503.html

转载 convolution neural network

https://skymind.ai/wiki/convolutional-networkhttps://www.coursera.org/learn/convolutional-neural-networks

原创 anaconda install path

/home/yc/anaconda3

原创 anaconda install path

/home/yc/anaconda3

原创 cuda cudnn version

yc@dl:~$ cat /etc/issueUbuntu 16.04.3 LTS \n \lyc@dl:~$ nvidia-smiSun Feb 24 21:07:40 2019±----------------------------------------------------------------------------+| NVIDIA-SMI 384.69 ...

转载 如何通俗易懂地解释「协方差」与「相关系数」的概念？

https://www.zhihu.com/question/20852004

原创 GAN不稳定原因

生成对抗神经网络由两部分组成：生成器和判别器。判别器尽可能使D(G(Z))接近0，而生成器尽可能生成同分布高质量的样本使D(G(Z))接近1。当生成器和判别器的性能训练得足够好时，达到纳什均衡（生成器生成的G(Z)与训练数据有相同的分布，对于判别器的每个输入x, D(x)=0.5）生成器生成样本G(z)的损失函数取决于判别器的反馈。判别器判定样本为真的概率越高，生成器的损失函数越低。当样本趋向于...

转载 ResNet

转载 Adam

转载 深度学习权重初始化常用方法

转载 Loss function

should be log©

转载 exponential function

转载 Regularization

原创 学习总结pool, data augmentation, inception

其他：Pooling(max, average)Data augmentation(mirroring, random crop, rottion, shearing, local warping, color shifting)GoogLeNet的核心：Inception结构

原创 dropout

DropOut:在训练过程中对于特定的网络层一定比例(1-P)的神经元失效，使得不同的神经元学习到相同的“概念”，提高模型泛化能力。tensorflow中的dropout就是：使输入tensor中某些元素变为0，其它没变0的元素值变为原来的1/keep_prob大小，从而使dropout前后神经元的值的总和相差不大。keep_prob: A scalar Tensor with the sa...

原创 Batch Normalization(BN)

N(0,1): 缓解效果差的初始化权重，帮助梯度流入深度网络层。BN让深度生成器开始学习，防止模式崩溃（所有的样本都生成到一个点，在生成对抗网络GAN里很常见）。但所有网络层都用BN会造成样本震荡和模型不稳定，所以在生成器的最后一层（输出层）和判别器的第一层（输入层）不要用BN。提高梯度流过网络允许更高的学习率减少初始化的依赖也可以看做是正则化的一种形式，减少用dropout的必要...

原创 激活函数Relu

Relu=max(0,x)负数部分导数为0，正数部分导数为1， 在一定范围内的批量数据上训练时，有些神经元输出的数值为正数，平均的偏导在0到1之间靠近0，从而使梯度下降能够继续迭代。不会出现梯度消失。运算时间短， 比sigmoid计算效率高， not perform expensive exponential operations as in sigmoid。（对于前反馈和后反馈relu...

原创 激活函数sigmoid 和softmax

Sigmoid在backpropagation时会造成梯度消失，初始化权重不要设太大，否则容易饱和没有梯度从而无法学习。对于softmax,有多个输出值，当输入值之间的差异变得极端时，这些输出值可能饱和，当softmax饱和时，基于softmax的许多代价函数也饱和，除非它们能够转化饱和的激活函数。Ian GoodFellow不建议在前反馈中用sigmoid和softmax， sigmo...

原创 激活函数tanh

对于多层的神经网络，使用tanh(x)的困难在于： 在（-2,2）的区间以外，y趋于平坦不变。除非输入x在（-2,2），否则y的导数很小，从而很难通过梯度下降更新权重w， 这种情况在层数多的情况下会更严重。从而造成梯度消失的问题。梯度消失使得我们难以知道参数朝哪个方向移动能够改进代价函数，而梯度爆炸会使得学习不稳定，...

转载 DenseNet

由于变深的结构使模型丧失了学习到先前信息的能力，让优化变得极其困难。论文“Densely Connected Convolutional Networks”优点：缓解梯度消失问题，加强特征传播，特征重用，减少参数。bottleNeck layer：BN-ReLU-Conv(11)-BN-ReLU-Conv(33) version of Hl, as DenseNet-B....

原创 基于GAN的半监督学习

Semi-supervised GAN 半监督学习更好的利用无标识数据，由于无标识数据和有标识数据有相同的数据分布。K+1类的识别是有效的，因为生成器生成的补充样本能促使判别器把分类边界置于低密度区域。好的semi-supervised GAN需要一个效果差的生成器，因为完美的生成器无法再提高。...

翻译 GAN和VAEs关于KL散度的比较

Gan的优化目标是达到纳什均衡（为了使损失函数达到最优，生成器与判别器均不会单独改变而是互相对抗），从而尽可能准确的恢复P(data), variational autoEncoder方法通常能够获得很好的似然，但生成低质量的样本。GAN能生成更好的样本，但跟FVBNs,VAEs比起来,更难优化。 GAN能生成更真实的样本是因为GAN最小化Jensen-Shannon divergence， 而...