Deep Learning
WeichaoZhu
还是要有梦想
展开
-
tensorflow学习笔记1
tensorflow学习在跑minist demo时,遇到了这几句BATCHSIZE=6 label=tf.expand_dims(tf.constant([0,2,3,6,7,9]),1)index=tf.expand_dims(tf.range(0,BATCHSIZE),1)concated = tf.concat(1, [index, label])可以跑的时候却报错查了半天资料,发...原创 2018-04-11 16:12:53 · 195 阅读 · 0 评论 -
tensorflow学习笔记2
tensor(vector)flow!tensorflow中变量variable的作用:通常会将一个统计模型中的参数表示为一组变量. 例如, 你可以将一个神经网络的权重作为某个变量存储在一个 tensor 中. 在训练过程中, 通过重复运行训练图, 更新这个 tensor.tensorboard使用方法:首先使用tf.scalar_summary("loss", cost)添加我们...原创 2018-07-20 17:31:46 · 130 阅读 · 0 评论 -
momentum RMSprop Adam gradient descent介绍
momentum gradient descent,即动量梯度下降,主要是运用了加权指数移动平均(为什么是指数是因为将式子展开后呈现指数形式),将历史的梯度平均下来,这样正负方向震荡的梯度平均为0,而一直沿着某一方向的梯度在更新迭代中就会保存下来,因此相比于mini batch sgd来说,收敛更快! RMSprop不再进行简单的加权指数移动平均,而是平均梯度的平方,这样最后的结果总是正值...原创 2018-08-08 21:04:57 · 344 阅读 · 0 评论 -
Wide and Deep论文笔记加理解
文论提出了学习过程中核心的两个概念,memorization and generalization,记忆与一般化memorization 指记忆,即规则generalization指泛化,即归纳我们一般学习的内容是归纳而来的,但是也需要加上一些例外的规则,才能够学习到真实的世界。a wide linear model 即学习的是规则部分,a deep neural networ...翻译 2018-09-17 16:07:25 · 722 阅读 · 0 评论