算法
文章平均质量分 80
JY_0812
我信,故我在!
展开
-
机器学习优化算法—L-BFGS
关于优化算法的求解,书上已经介绍了很多的方法,比如有梯度下降法,坐标下降法,牛顿法和拟牛顿法。梯度下降法是基于目标函数梯度的,算法的收敛速度是线性的,并且当问题是病态时或者问题规模较大时,收敛速度尤其慢(几乎不适用);坐标下降法虽然不用计算目标函数的梯度,但是其收敛速度依然很慢,因此它的适用范围也有局限;牛顿法是基于目标函数的二阶导数(海森矩阵)的,其收敛速度较快,迭代次数较少,尤其是在最优值附近转载 2016-09-15 12:44:55 · 574 阅读 · 0 评论 -
稀疏自动编码器 (Sparse Autoencoder)
摘要一个新的系列,来自于斯坦福德深度学习在线课程:http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial。本文梳理了该教程第一部分的内容,主要包括人工神经网络入门、反向传递算法、梯度检验与高级优化 和 自编码算法与稀疏性等要点。最后以课程作业作为总结和练习。前言斯坦福深度学习在线课程是 Andrew Ng转载 2016-09-16 16:36:40 · 3371 阅读 · 3 评论