心得碎语
eason_by_step
这个作者很懒,什么都没留下…
展开
-
神圣而初级的数据集MNIST和图像展示
入门级的数据集之所以是MNIST,不仅仅因为他是显而易见的分类,并且分类数量少,很小的图片就能表达出准确的特征(也就是不用为了跑个基础试验下载上百兆数据),一起都是为了零基础。 不过最近好像作者的连接(因为疫情下的中美关系??),始终访问不了,如果有人也下载不下来,那么欢迎猛戳这里(我2年前下载的) # -*-coding:utf-8 -*-tensorflow 1.4.0- import tensorflow as tf import matplotlib.pyplot as plt from te原创 2020-05-26 00:14:56 · 256 阅读 · 0 评论 -
Tensorflow滑动平均下的社会哲学——行动保守不一定是坏事
在另外一个朋友的博客里见到了对于滑动平均的学名称号,叫做一阶滞后滤波法: 如此高大尚的名字,背后就是一种保守决策策略来降低震荡带来的风险,在频谱上就是去掉高频信号,而压缩成低频信号,显得更平滑和稳定。目的无外乎几种: 降低周期性的干扰,更容易收敛; 在波动频率较高的场合有很好的效果,避免高频震荡波动。 而在TensorFlow中提供了tf.train.ExponentialMovingAverage 来实现滑动平均模型,在采用随机梯度下降算法训练神经网络时,使用其可以提高模型在测试数据上的健壮性(原创 2020-05-25 07:41:41 · 267 阅读 · 0 评论 -
Tensorflow第一次调试找bug的可视化工具
距离上次蛮怀热情的手写5层神级网络(过了一周多了)结果啥都没有跑出来,有2个继续的方向: 忘记这个吧,继续下面的章节,以后自然会了解这里什么地方写错了; Debug吧,太多不求甚解的话,以后还是会遇到各种问题,debug的能力很重要; 想到2年前,也是遇到一堆到问题跳过,连基本的灵魂调参都没有实践到,知识点过了就忘,那还是把过程中每一个不知名的bug都解除一下吧。 说干就干,可是tensorflow咋个调试呢,每次都是跑1000次/2000次量级,很多过程性指标没有办法随时输出和单步debug跟踪,只原创 2020-05-24 08:41:36 · 324 阅读 · 0 评论 -
Tensflow版本升级就是磨人的妖精——regular能用吗?
磨人的妖精,版本带来的伤筋动骨,有发展就有版本升级,自己模块有方法变化、不同模块之间还有相互依赖变化,coding中有1/3的时间都是在解决版本升级后新特性学习问题解决,1/3是在debug,真正写核心函数也就最多1/3的时间了。 Tensonflow2.0相对1.0的升级,兼容性是个大坑,见文章大型翻车现场,真有一种强烈的忽悠感。这里记录一些神奇的解决方案: import tensorfl...原创 2020-05-08 08:08:58 · 190 阅读 · 0 评论 -
掌握一个编程语言先从手写经典代码开始
如题都是扯淡的,倒是在第一次看tensorflow实战这本书的时候,没有特别的在意代码的实现,以至于看完后觉得很有道理,但是让自己来编写一个深度神经网络时,不知道从合作下手,因为之前都是在看(或者誊写)书本上的代码,觉得很有道理,然后就没有然后了。 这次重温这本书,过程中的关键代码,都做了闭卷自己来写一遍、一遍又一遍(当然是换一点自己的想法后来写),慢慢的也就了解到了大致的tensorflow的...原创 2020-05-06 22:56:56 · 255 阅读 · 1 评论