何雷

2015ICCV会议最佳论文奖，即有着“计算机视觉界最高奖”之称的马尔奖(Marr Prize)授予了由微软剑桥研究院(Microsoft Research, Cambridge UK)、卡内基梅隆大学和意大利布鲁诺凯斯勒研究中心(Fondazione Bruno Kessler)合作的论文“深度神经决策森林(Deep Neural Decision Forests)”。论文提出将分类树模型和深度神经网络的特征学习相结合进行端到端训练的深度学习方法。该方法使用决策森林(decision forest)作为最

在深度学习中，如果我们已经定义了网络，输入，以及输出，那么接下来就是损失函数，优化策略，以及一般由框架完成的BP反传。这篇博文我们主要探讨一下深度的BP反传算法（以梯度下降为例），尤其是mini_batch的BP反传，目标是如何更新网络的参数：权重和偏置。       首先，我们来看网络中基本参数的一些定义。       使用梯度下降法，一般计算所有样本的损失函数的

目前而言，深度学习是机器学习的发展前沿，一般针对大数据量的学习目标。其优化方法来源于基本的机器学习的优化方法，但也有所不同。下面，小结一下，其基础是随机梯度下降的方法，但是为了学习的自适应性，做了如下改进：1. 因为每次训练的数据不一样，可能导致目标函数的梯度变化剧烈，为了解决这个问题，联合上次迭代的梯度和当前梯度，使梯度变化变缓（指数衰减）；2. 在学习过程中，当迭代结果接近最优值时，我们需要学