- 博客(6)
- 收藏
- 关注
RSS订阅原创 神经网络梯度消失和梯度爆炸原因推导及其解决方案
当我们需要解决一个非常复杂的问题，例如在高分辨率图像中检测数百种类型的对象，我们可能需要训练一个非常深的DNN，可能需要几十层或者上百层，每层包含数百个神经元，通过成千上万个连接进行连接，我们会遇到以下问题：首先，梯度消失或梯度爆炸其次，训练缓慢第三，训练参数大于训练集的风险梯度消失的原因：生物神经元似乎是用 Sigmoid（S 型）激活函数活动的，因此研究人员在很长一段时间内坚持 Si...
2019-10-30 10:55:32
2140
2
原创 赛马问题--最全面的解析
题目一共有25匹马，有一个赛场，赛场有5个赛道，就是说最多同时可以有5匹马一起比赛。假设每匹马都跑的很稳定，不用任何其他工具，只通过马与马之间的比赛，试问，最少得比多少场才能知道跑得最快的5匹马？（不能使用撞大运的算法）这道题的答案应该为 （7）次。5场首先随机分成五组， 按照比赛结果排序： a1, a2, a3 ,a4 ,a5 b1 ,b2 ,b3 ,b4 ,b5...
2019-10-28 10:32:09
2600
4
原创 LeetCode】【322. Coin Change】(python版)
You are given coins of different denominations and a total amount of money amount. Write a function to compute the fewest number of coins that you need to make up that amount. If that amount of money ...
2019-10-24 14:01:05
107
原创 最通俗的解释--牛顿法与梯度下降法数学公式推导过程
牛顿法与梯度下降法数学公式推导过程迭代更新数学公式推导过程1、牛顿法首先对于有n个变量的函数的一阶导数为： 其次对于其二阶导数为： 之后关于目标函数的包含二阶导数的泰勒展开式为： 这时将看成的函数，则根据函数的最小值性质，当偏导数等于0时出取得，从而得到，所以，根据等式的特点得到，只有两者都取0时才能使等式等于0，...
2019-10-13 17:13:01
1666
1
原创 剑指offer学习记录
顺时针打印矩阵--python巧妙利用pop旋转的顺时针打印class Solution: # matrix类型为二维列表，需要返回列表 def printMatrix(self, matrix): # write code here res = []while matrix:res += ma...
2019-10-07 23:08:33
127
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人