Oscar2018的博客

原创 机器学习发展历史及现状（重要的期刊，会议，大牛总结）

1 引言机器学习是指通过计算机学习数据中的内在规律性信息，获得新的经验和知识，以提高计算机的智能性，使计算机能够像人那样去决策。随着各行业对数据的需求量增多，对处理和分析数据的效率要求变高，一系列机器学习算法应运而生。机器学习算法主要是指通过数学及统计方法求解最优化问题的步骤和过程。针对不同的数据和不同模型需求，选择和使用适当的的机器学习算法可以更高效地解决一些实际问题。本文将从机器学习的起源...

原创 梯度下降算法在逻辑二分类中的应用

原创 SVRG在逻辑二分类模型上的应用

1.随机方差缩减梯度(SVRG)在实际问题中为了保证SGD收敛，须将步长逐渐缩短到0，这使得SGD收敛速度很慢。小步长的需求是来自于SGD随机取样造成的方差，但是存在下面描述的修复。每轮都使用来估计，并用来接近最优参数，称为的“快照”。比如每经过m次SDG迭代，就抓拍一个，记为本轮的。此外还要计算下每轮的平均梯度                                       ...

原创 梯度下降算法总结 (FG,SG,SAG,mini-batch,Momentum等等)

1引言机器学习是指通过计算机学习数据中的内在规律性信息，获得新的经验和知识，以提高计算机的智能性，使计算机能够像人那样去决策[1]。通常我们在学习一个模型时首先要收集大量关于这个问题的数据，其目标属性作为样本标签是已知的，记为y.其次根据实际问题建立预测模型，预测模型对样本标签的预测为h(x)，显然y与h(x)之间的误差越小越好，这个误差被称为损失函数。因此，机器学习中的许多问题都可以归结为：...