- 博客(4)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Python相关问题
__init__.py 文件的作用 init.py 文件的作用是将文件夹变为一个Python模块,Python 中的每个模块的包中，都有__init__.py 文件。 通常__init__.py 文件为空，但是我们还可以为它增加其他的功能。我们在导入一个包时，实际上是导入了它的__init__.py文件。这样我们可以在__init__.py文件中批量导入我们所需要的模块，而不再需要一个一个的导入。 ...
2020-05-31 11:13:33
49
原创 3. Adaptive Learning Rate - Variants of SGD
在讲动量法的时候，我们看到当不同方向上的梯度相差较大时，会出现振荡的情况。动量法依赖指数加权平均使得自变量的更新方向更加一致，从而降低loss divergence的情况。 其它调整学习率的算法，如AdaGrad, Adam和RMS...
2020-03-17 02:37:49
91
原创 1. SGD + Momentum for Oscillation and Plateau Problem
Momentum + SGD for Plateau Problem SGD method has trouble when navigating areas where the curvature is steeper in one dimensions and is flat in another directions. Ends up oscillating around the sl...
2020-03-15 22:19:20
88
原创 2. Gradient Clipping for Gradient Exploding
Gradient Exploding: When parameters approch a cliff region, the gradient update step can move the learner towards a very bad configuration (Divergence) Gradient Clipping: To address the presence...
2020-03-15 22:19:05
86
空空如也
jupyter notebook画图后，最上方显示空白，该怎么取消
2020-02-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人