- 博客(8)
- 收藏
- 关注
原创 神圣而初级的数据集MNIST和图像展示
入门级的数据集之所以是MNIST,不仅仅因为他是显而易见的分类,并且分类数量少,很小的图片就能表达出准确的特征(也就是不用为了跑个基础试验下载上百兆数据),一起都是为了零基础。不过最近好像作者的连接(因为疫情下的中美关系??),始终访问不了,如果有人也下载不下来,那么欢迎猛戳这里(我2年前下载的)# -*-coding:utf-8 -*-tensorflow 1.4.0-import tensorflow as tfimport matplotlib.pyplot as pltfrom te
2020-05-26 00:14:56
232
原创 Tensorflow滑动平均下的社会哲学——行动保守不一定是坏事
在另外一个朋友的博客里见到了对于滑动平均的学名称号,叫做一阶滞后滤波法:如此高大尚的名字,背后就是一种保守决策策略来降低震荡带来的风险,在频谱上就是去掉高频信号,而压缩成低频信号,显得更平滑和稳定。目的无外乎几种:降低周期性的干扰,更容易收敛; 在波动频率较高的场合有很好的效果,避免高频震荡波动。而在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经网络时,使用其可以提高模型在测试数据上的健壮性(
2020-05-25 07:41:41
243
原创 Tensorflow第一次调试找bug的可视化工具
距离上次蛮怀热情的手写5层神级网络(过了一周多了)结果啥都没有跑出来,有2个继续的方向:忘记这个吧,继续下面的章节,以后自然会了解这里什么地方写错了; Debug吧,太多不求甚解的话,以后还是会遇到各种问题,debug的能力很重要;想到2年前,也是遇到一堆到问题跳过,连基本的灵魂调参都没有实践到,知识点过了就忘,那还是把过程中每一个不知名的bug都解除一下吧。说干就干,可是tensorflow咋个调试呢,每次都是跑1000次/2000次量级,很多过程性指标没有办法随时输出和单步debug跟踪,只
2020-05-24 08:41:36
301
原创 第一张失败的5层全连接网络
第一个5层全连接的网络,输入输出关系符合 y = [[x1],[x2]] *[1,1]矩阵相乘,y = x1+x2# -*-coding:utf-8 -*-import tensorflow as tffrom numpy.random import RandomStatedef get_weight(shape, lambda_local): var = tf.Variable(tf.random_normal(shape), dtype=tf.float32) # add th..
2020-05-09 07:57:42
309
1
原创 Tensflow版本升级就是磨人的妖精——regular能用吗?
磨人的妖精,版本带来的伤筋动骨,有发展就有版本升级,自己模块有方法变化、不同模块之间还有相互依赖变化,coding中有1/3的时间都是在解决版本升级后新特性学习问题解决,1/3是在debug,真正写核心函数也就最多1/3的时间了。Tensonflow2.0相对1.0的升级,兼容性是个大坑,见文章大型翻车现场,真有一种强烈的忽悠感。这里记录一些神奇的解决方案:import tensorfl...
2020-05-08 08:08:58
165
原创 掌握一个编程语言先从手写经典代码开始
如题都是扯淡的,倒是在第一次看tensorflow实战这本书的时候,没有特别的在意代码的实现,以至于看完后觉得很有道理,但是让自己来编写一个深度神经网络时,不知道从合作下手,因为之前都是在看(或者誊写)书本上的代码,觉得很有道理,然后就没有然后了。这次重温这本书,过程中的关键代码,都做了闭卷自己来写一遍、一遍又一遍(当然是换一点自己的想法后来写),慢慢的也就了解到了大致的tensorflow的...
2020-05-06 22:56:56
235
1
原创 TensorFlow变量初始化大坑和小技巧
在TensorFlow的整个设计框架中,会话Session之前的图结构设计中,除了constant型是做了默认的初始化定义,其他的变量声明以及占位符都是一种数据初始化方法的描绘。当然占位符是预告在运行过程中得到各种导入的数据(如输入数据、文件导入等),那么对于常常用来进行权重迭代的变量,在初始化的时候一般会以某种随机函数被赋以随机值(避免进行拟合陷阱),这样的变量赋值都是一个描绘,需要在会话中...
2020-05-05 11:29:46
1156
原创 Tensorboard画不出graph的小坑
2年前偶尔学习了tensorflow,现在重温,发现水平又差了很多,连用tensorboard画个图都出不来,都是小问题:1. tensorflow函数做了升级:TensorFlow实战Google深度学习框架里第9章的函数, tf.train.SummaryWriter 更换成了tf.summary.FileWriter()2. 在生成了摘要事件文件后,使用tensorboard ...
2020-05-04 18:43:39
768
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人