![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
大猫子的技术日记
大萨斯梵蒂冈豆腐干豆腐干地方司法所
展开
-
炼丹,shuffle很重要,以及其他性能反常时代码检查点,
1. 跑实验,忘记shuffle,导致一直没调出结果来,开启结果后性能提升近20个点。原创 2020-07-11 09:29:04 · 115 阅读 · 0 评论 -
优秀啊,这么好的激活函数汇总,必须收藏一下。
【转载】https://dashee87.github.io/deep%20learning/visualising-activation-functions-in-neural-networks/原创 2020-07-06 15:35:42 · 240 阅读 · 0 评论 -
tf.train/tf.TFRecords/tf.data/tf.io 四个库的关系梳理
自己整理了一下这四个库的关系,整理前不知道什么时候用record什么时候用dataset,整理后对于tf提供的数据pipeline的使用得心应手,非常爽。参考文献:https://www.tensorflow.org/tutorials/load_data/tfrecordhttps://www.tensorflow.org/guide/data_performancehttp...原创 2020-01-21 20:50:27 · 242 阅读 · 0 评论 -
如何配置dataset以适应keras的多输入场景?
答案:字典tf.data.Dataset.from_tensor_slices函数既可以传入元组,也可以传入字典。传输元组时,该元组最大可传入三个成员,同时其位置是固定的,第一个就是X,第二个是y,第三个则是sampleweight,同时除了x是必须的,y和sampleweight都是可以设置为空的。在传入字典时,则可以适应多输入模型的场景,此时字典的key是模型input层的na...原创 2020-01-21 20:19:05 · 1012 阅读 · 0 评论 -
tensorflow2.0-keras: fit_generator 源码初探1
呵,这个的实现思路倒是和我的一模一样,大致如下:这个图好丑,坚果云照抄还抄的配色方案不行,下次还是换draw.io画。原创 2020-01-18 15:50:17 · 641 阅读 · 0 评论 -
实现keras 自定义fit函数的几种实现思路
model.train_on_batch(首推),注:train_on_batch在TensorFlow中有若干种版本实现,而TensorFlow有动态选择的机制,因此最好是调试一下,看进入的是哪个版本,在tf2中逐步调试很方便。 fit源码重组,这种实现方式可以应用callback等keras自带的各种魔法小工具。 fit_generator源码重组,同2....原创 2020-01-15 21:20:40 · 1255 阅读 · 0 评论 -
tensorflow2.0-keras: fit 源码初探1【2020-1-22 09:39:47】
最近由于工作需要,keras提供的fit函数不能满足需求,而自己去写一个自定义的fit函数后进行测试时,砍掉加入的其他组件,只对自己的fit函数功能进行测试,却始终不能得到与keras原生fit函数一样的结果,因此不得已看源码学习keras是如何实现的。以下内容将十分琐碎,有空进行整理,仅记录对我有用的东西,开始吧。输入数据输入数据会被转换成dataset对象中间结果:...原创 2020-01-15 16:47:37 · 846 阅读 · 0 评论 -
一个很好的文本匹配任务大纲
博客:文本匹配相关方向打卡点总结https://www.jiqizhixin.com/articles/2019-10-18-14转载 2020-01-03 22:23:15 · 381 阅读 · 0 评论 -
NNL(negative log loss) 和 cross entropy loss的区别
CE formulation:NNL公式:NNL是CE的一种应用形式,使用的就是CE的计算公式,但在通常看到的计算形式是这种:为什么累加符号以及没有了呢?首先CE计算的是两个分布(真实分布与预测分布)之间的交叉熵,即距离,以此距离值作为损失值。而在多分类(multi-class)任务中,预测分布式模型经过softmax函数后的输出vector,而真实分布则是每个输出目...原创 2019-12-29 14:54:04 · 4651 阅读 · 0 评论