![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 75
yyhhlancelot
心之所向,素履以往。
展开
-
个人总结:从RNN(内含BPTT以及梯度消失/爆炸)到 LSTM(内含BiLSTM、GRU)Seq2Seq Attention
前言RNN擅长解决的问题是连续的序列,且序列的长短不一,比如基于时间的序列:一段段连续的语音等。这些序列比较长,且长度不一,比较难直接拆分成一个个独立的样本通过DNN/CNN进行训练。而RNN由于其独有的结构和优势,能够处理DNN/CNN所不能及的问题。RNN的5种不同架构声明:下列图中的方块或者圆圈都代表一个向量。one2one:一个输入对应一个输出。one2ma...原创 2019-10-11 16:19:04 · 4900 阅读 · 2 评论 -
个人总结:Generative Adversarial Nets GAN原始公式的得来与推导
训练判别器,是在度量生成器分布和真实数据分布的JS距离。第一种解释 2018.10.15第一种解释略累赘,但容易理解,可选择跳过看第二种解释。根据文章所述,为原始数据,使用的噪声数据,,为batch_size的大小。而为通过生成器生成的数据,也就是说与是能够互相对立的竞争对手。生成器生成了妄图模拟到的效果达到“欺骗”判别器的目的。 ................原创 2018-10-15 15:51:41 · 951 阅读 · 0 评论 -
NLP学习笔记(三):模型训练之深度学习方案详解(关键词:深度学习,词向量,RNN,LSTM)
0. 前言接上一节NLP学习笔记(二):创建特征及训练(关键词:词袋,TFIDF),我们在预处理完成后,使用简单的词袋模型(CountVectorizer, TfidfVectorizer)来创建了特征,并使用常用的机器学习算法随机森林(RandomForest)、逻辑回归(LogisticReggression)、朴素贝叶斯(NaiveBayes)进行训练,同时使用网格搜索(GridSear...原创 2018-12-24 21:02:46 · 2612 阅读 · 3 评论 -
个人总结:从 白化(whitening) 到 批标准化(Batch Normalization)
白化 Whitening由于图像中像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的是降低输入的冗余性,我们希望通过白化过程使得算法的输入有如下性质:1、特征间相关性较低。2、所有特征具有相同的方差。z-score白化将图片调整为平均像素值为0,方差为单位方差的分布。PCA白化假设输入数据是冗余的,经过白化处理后:1、特征间相关性较低。2、所有特征具有相同的方差。...原创 2019-06-20 14:47:43 · 2651 阅读 · 3 评论 -
个人总结:CNN、tf.nn.conv2d(卷积)与 tf.nn.conv2d_transpose(反卷积)
为什么出现了卷积神经网络假如有一幅1000x1000的图像,如果把整副图片作为特征进行输入的话,向量的长度为1000000。假设使用普通的NN来对图像进行训练。假设隐藏层的神经元个数和输入一样,也是1000000;那么,从输入层到隐藏层的参数数据量有10^6 x 10^6 = 10^12,实在是太高了。局部连接局部感受野:一般认为人对外界的认知是从局部到全局。因此每个神经元没有...原创 2018-10-09 16:33:57 · 1860 阅读 · 0 评论 -
TensorFlow训练GAN时, 关于“tf.matmul(z, G_W1) + G_b1” 为何矩阵能和向量相加的实验探索
在tensorflow中,若将矩阵[m, n]与向量[m, 1]或者[1, n]相加时,会将向量扩展为与矩阵相同的维度,扩展的方式为将那一行或那一列进行复制。这符合我们训练神经网络的方式,通过将偏置进行扩展,与之前输入与权重矩阵之乘积相加。附上实验验证代码:import tensorflow as tfa = tf.get_variable("a", [3, 5])b = tf...原创 2018-07-19 21:50:33 · 379 阅读 · 0 评论