- 博客(3)
- 收藏
- 关注
RSS订阅原创 TensorFlow中的梯度裁剪（Gradient Clipping）
梯度爆炸是深度学习中十分常见的现象，有时会导致寻优过程不收敛，或者算出来的结果干脆直接溢出，例如在Python里都是Nan，使迭代无法继续下去。TensorFlow里提供了一系列简单可行的梯度裁剪函数，方便我们对超过阈值的梯度值进行规约，使优化算法相对更加数值稳定。 TensorFlow里提供的几个Gradient Clipping函数都是以clip_by开头，分别是tf.clip_by_nor...
2018-05-02 01:12:56
12061
原创 步长大于1时卷积神经网的反向传播
关于卷积神经网络的正向和反向传播网上已经有了大量的技术指导，但是绝大部分都止步于卷积核步长为1，且通道数为1的简单的示意性的推导，当步长为2时，大多数的教程都语焉不详，或直接跳过。我在这里就对步长为2以上的卷积操作进行详细讨论。本文假设读者已经基本掌握神经网络的链式求导法则，所以不会再讲这些细节。另外，本文只考虑卷积操作的正向和反向传播，如果想对池化层的相应过程做了解可以直接移步参考文献。申明...
2018-04-29 01:08:13
1539
1
原创 Sklearn中的f_classif和f_regression
这两天在看Sklearn的文档，在feature_selection一节中遇到俩f值，它们是用来判断模型中特征与因变量的相关性的。刚开始看的时候一头雾水，因为需要数理统计中方差分析的背景，现在在这里简要剖析一下这两个方法的原理和用法。
2017-12-24 13:23:25
25926
10
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人