![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习总结
weixin_43698821
这个作者很懒,什么都没留下…
展开
-
convolution
https://towardsdatascience.com/a-comprehensive-introduction-to-different-types-of-convolutions-in-deep-learning-669281e58215转载 2019-05-10 08:54:57 · 282 阅读 · 0 评论 -
Gcc
https://ywnz.com/linuxjc/2503.html转载 2019-02-27 09:26:09 · 73 阅读 · 0 评论 -
convolution group
http://tflearn.org/layers/conv/https://tensorlayer.readthedocs.io/en/stable/_modules/tensorlayer/layers/convolution/group_conv.html转载 2019-03-06 10:38:59 · 90 阅读 · 0 评论 -
convolution neural network
https://skymind.ai/wiki/convolutional-networkhttps://www.coursera.org/learn/convolutional-neural-networks转载 2019-02-26 14:40:31 · 254 阅读 · 0 评论 -
convolution group
https://www.jianshu.com/p/20150e44bde8https://edu.csdn.net/course/play/8320/171433?s=1转载 2019-03-05 10:44:12 · 84 阅读 · 0 评论 -
anaconda install path
/home/yc/anaconda3原创 2019-02-24 13:51:10 · 288 阅读 · 0 评论 -
anaconda install path
/home/yc/anaconda3原创 2019-02-24 13:46:41 · 141 阅读 · 0 评论 -
cuda cudnn version
nvcc --versionecho $LD_LIBRARY_PATHecho $CUDA_HOMEcat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR转载 2019-02-27 10:17:22 · 191 阅读 · 0 评论 -
faster Rcnn
https://blog.csdn.net/qq_39531954/article/details/78865452转载 2019-03-24 16:48:14 · 76 阅读 · 0 评论 -
good guide
https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04e转载 2019-03-26 14:42:03 · 134 阅读 · 0 评论 -
TFFRCNN
https://blog.csdn.net/yuexin2/article/details/75019330转载 2019-03-26 10:03:24 · 177 阅读 · 0 评论 -
cuda8.0 cuda 9.0
https://www.jianshu.com/p/f48a5c075d00转载 2019-03-25 20:27:18 · 101 阅读 · 0 评论 -
GAN training
http://blog.otoro.net/2016/04/01/generating-large-images-from-latent-vectors/Like a real counterfeit painter, G has a much tougher job compared to D. Creating content is hard, and even with the error...转载 2019-03-12 15:39:28 · 154 阅读 · 0 评论 -
tensorflow 预训练模型的导入
https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/qq_23981335/article/details/81476258https://blog.csdn.net/helei001/article/details/53159690https://www.jianshu.com/p/...转载 2019-03-12 11:59:43 · 859 阅读 · 0 评论 -
SEnet
https://zhuanlan.zhihu.com/p/29367273转载 2019-03-04 21:25:40 · 504 阅读 · 0 评论 -
loss function and tune hyperparameters for neural network
http://neuralnetworksanddeeplearning.com/chap3.html#the_cross-entropy_cost_function转载 2019-03-08 17:09:39 · 119 阅读 · 0 评论 -
cuda cudnn version
yc@dl:~$ cat /etc/issueUbuntu 16.04.3 LTS \n \lyc@dl:~$ nvidia-smiSun Feb 24 21:07:40 2019±----------------------------------------------------------------------------+| NVIDIA-SMI 384.69 ...原创 2019-02-24 13:21:29 · 604 阅读 · 0 评论 -
dropout
DropOut:在训练过程中对于特定的网络层一定比例(1-P)的神经元失效,使得不同的神经元学习到相同的“概念”,提高模型泛化能力。tensorflow中的dropout就是:使输入tensor中某些元素变为0,其它没变0的元素值变为原来的1/keep_prob大小,从而使dropout前后神经元的值的总和相差不大。keep_prob: A scalar Tensor with the sa...原创 2018-12-01 11:21:42 · 107 阅读 · 0 评论 -
Batch Normalization(BN)
N(0,1): 缓解效果差的初始化权重,帮助梯度流入深度网络层。BN让深度生成器开始学习,防止模式崩溃(所有的样本都生成到一个点,在生成对抗网络GAN里很常见)。但所有网络层都用BN会造成样本震荡和模型不稳定,所以在生成器的最后一层(输出层)和判别器的第一层(输入层)不要用BN。提高梯度流过网络允许更高的学习率减少初始化的依赖也可以看做是正则化的一种形式,减少用dropout的必要...原创 2018-12-01 11:20:44 · 272 阅读 · 0 评论 -
激活函数Relu
Relu=max(0,x)负数部分导数为0,正数部分导数为1, 在一定范围内的批量数据上训练时,有些神经元输出的数值为正数,平均的偏导在0到1之间靠近0,从而使梯度下降能够继续迭代。不会出现梯度消失。运算时间短, 比sigmoid计算效率高, not perform expensive exponential operations as in sigmoid。(对于前反馈和后反馈relu...原创 2018-12-01 11:17:48 · 421 阅读 · 0 评论 -
激活函数sigmoid 和softmax
Sigmoid在backpropagation时会造成梯度消失,初始化权重不要设太大,否则容易饱和没有梯度从而无法学习。对于softmax,有多个输出值,当输入值之间的差异变得极端时,这些输出值可能饱和,当softmax饱和时,基于softmax的许多代价函数也饱和,除非它们能够转化饱和的激活函数。Ian GoodFellow不建议在前反馈中用sigmoid和softmax, sigmo...原创 2018-12-01 11:14:55 · 788 阅读 · 0 评论 -
激活函数tanh
对于多层的神经网络,使用tanh(x)的困难在于: 在(-2,2)的区间以外,y趋于平坦不变。除非输入x在(-2,2),否则y的导数很小,从而很难通过梯度下降更新权重w, 这种情况在层数多的情况下会更严重。从而造成梯度消失的问题。梯度消失使得我们难以知道参数朝哪个方向移动能够改进代价函数,而梯度爆炸会使得学习不稳定,...原创 2018-12-01 11:12:07 · 1888 阅读 · 0 评论 -
DenseNet
由于变深的结构使模型丧失了学习到先前信息的能力,让优化变得极其困难。论文“Densely Connected Convolutional Networks”优点:缓解梯度消失问题,加强特征传播,特征重用,减少参数。bottleNeck layer:BN-ReLU-Conv(11)-BN-ReLU-Conv(33) version of Hl, as DenseNet-B....转载 2018-12-01 11:10:17 · 81 阅读 · 0 评论 -
基于GAN的半监督学习
Semi-supervised GAN 半监督学习更好的利用无标识数据,由于无标识数据和有标识数据有相同的数据分布。K+1类的识别是有效的,因为生成器生成的补充样本能促使判别器把分类边界置于低密度区域。好的semi-supervised GAN需要一个效果差的生成器,因为完美的生成器无法再提高。...原创 2018-12-01 11:01:45 · 976 阅读 · 0 评论 -
GAN和VAEs关于KL散度的比较
Gan的优化目标是达到纳什均衡(为了使损失函数达到最优,生成器与判别器均不会单独改变而是互相对抗),从而尽可能准确的恢复P(data), variational autoEncoder方法通常能够获得很好的似然,但生成低质量的样本。GAN能生成更好的样本,但跟FVBNs,VAEs比起来,更难优化。 GAN能生成更真实的样本是因为GAN最小化Jensen-Shannon divergence, 而...翻译 2018-12-01 08:58:58 · 1178 阅读 · 1 评论 -
ResNet
转载 2018-12-04 17:45:24 · 90 阅读 · 0 评论 -
学习总结pool, data augmentation, inception
其他:Pooling(max, average)Data augmentation(mirroring, random crop, rottion, shearing, local warping, color shifting)GoogLeNet的核心:Inception结构原创 2018-12-01 11:29:29 · 104 阅读 · 0 评论 -
Regularization
转载 2018-12-03 11:05:29 · 175 阅读 · 0 评论 -
install process
https://medium.com/@zhanwenchen/install-cuda-and-cudnn-for-tensorflow-gpu-on-ubuntu-79306e4ac04envidia-smiWed Feb 27 16:54:42 2019±------------------------------------------------------------------...原创 2019-02-27 19:21:37 · 179 阅读 · 0 评论 -
ubuntu remote ifconfig ifconfig enp0s31f6
ifconfigenp0s31f6 Link encap:Ethernet HWaddr b4:2e:99:29:40:e0inet addr:172.20.111.172 Bcast:172.20.111.255 Mask:255.255.255.0inet6 addr: 2001:250:3c02:74b:6894:2e06:1031:588a/64 Scope:Globalin...原创 2019-02-27 16:51:31 · 1151 阅读 · 0 评论 -
如何通俗易懂地解释「协方差」与「相关系数」的概念?
https://www.zhihu.com/question/20852004转载 2019-01-01 11:41:53 · 118 阅读 · 0 评论 -
GAN不稳定原因
生成对抗神经网络由两部分组成:生成器和判别器。判别器尽可能使D(G(Z))接近0,而生成器尽可能生成同分布高质量的样本使D(G(Z))接近1。当生成器和判别器的性能训练得足够好时,达到纳什均衡(生成器生成的G(Z)与训练数据有相同的分布,对于判别器的每个输入x, D(x)=0.5)生成器生成样本G(z)的损失函数取决于判别器的反馈。判别器判定样本为真的概率越高,生成器的损失函数越低。当样本趋向于...原创 2018-12-14 14:29:41 · 9768 阅读 · 0 评论 -
深度学习权重初始化常用方法
转载 2018-12-03 19:17:53 · 312 阅读 · 0 评论 -
Loss function
should be log©转载 2018-12-03 14:44:48 · 64 阅读 · 0 评论 -
exponential function
转载 2018-12-03 13:58:52 · 779 阅读 · 0 评论 -
Adam
转载 2018-12-04 10:16:30 · 154 阅读 · 0 评论