自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 机器学习之优化算法(从SGD到Adam)

我们已经知道梯度下降法,需要沿着整个训练集的梯度反向下降。使用随机梯度下降方法,选取小批量数据的梯度下降方向,可以在很大程度上进行加速。SGD及其变种可能是机器学习中应用最多的优化算法。我们按照下面的顺序一一理解一下这些算法。SGD->SGDM->NAG->AdaGrad->RMSProp->Adam->Nadam1、随机梯度下降(SGD)核心是按照...

2018-04-25 16:33:29 6228 1

转载 机器学习之在线学习算法FTRL

现在做在线学习和CTR常常会用到逻辑回归( Logistic Regression),而传统的批量(batch)算法每次迭代对全体训练数据集进行计算,无法有效地处理超大规模的数据集和在线数据流。google提出的FTRL(Follow-the-regularized-Leader)算法,在处理诸如逻辑回归之类的带非光滑正则化项(例如1范数,做模型复杂度控制和稀疏化)的凸优化问题上性能非常出色。...

2018-04-21 20:57:14 1789

翻译 机器学习之统计知识

一、什么是最大似然估计、最大后验估计以及贝叶斯参数估计抛掷三次硬币,如果三次都是正面,那么问下一次硬币正面朝上的概率是多少?这种情况下,我们需要根据已观察到的三次样本数据D来估算概率正面朝上的概率p。最大似然估计最大似然估计\bf{最大似然估计}一种方法是找到能最大化观测数据的似然函数P(D;θ)P(D;θ)P(D; \theta)的参数θθ\theta的值。这里θθ\theta是...

2018-04-21 19:22:25 422

原创 机器学习之面试题

翻看csdn里的博客,无意间看到一篇分享机器学习面试经验的文章,里面博主列举了他面试遇到的问题,我觉得很不错,然后加上我个人的理解分享给需要的人。1、 什么是boosting tree?提升方法(boosting)是一种常见的统计学习方法,它的理论基础是:强可学习与弱可学习是等价的,在概率近似正确(PAC)学习的框架下:强可学习是一个概念,若存在一个多项式的学习算法能够学习它,并且正...

2018-04-21 13:53:43 2411

转载 机器学习之自编码器

自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出。其内部有一个隐藏层h,可以产生编码表示输入。该网络由两部分组成:一个由函数h=f(x)h=f(x)h=f(x)表示的编码器和一个产生重构的解码器r=g(h)r=g(h)r=g(h)。一般我们需要加一些约束给自编码器,使得其输出只是近似于输入,强制模型考虑输入数据的哪些部分需要被优先复制,从而学习数据中的有用特性。...

2018-04-19 13:15:08 2495

翻译 机器学习之FM与FFM(Factorization Machines)

FM是机器学习中的一种类似于SVM的算法模型,常用于高维稀疏的数据中。相比SVM中的多项式核,其同样可以捕捉数据中不同变量之间的作用关系。但是相比SVM,它具有如下几个优点: 1、FM允许在非常稀疏的数据下进行参数估计,SVM不行。2、FM具有线性复杂度,可以在原始状态下进行优化,不依赖于支持向量,比如SVMs。3、FMs是一种适用于任意实值特征向量的通用预测器。而其他的一些对于数据有限制。首...

2018-04-19 00:01:58 4224

转载 神经网络之激活函数

隐藏单元的选择是神经网络设计中的一个活跃的研究领域,目前尚未有明确的指导性理论原则。 通常我们都默认选择整流线性单元作为隐藏单元,但仍有一些其他类型的隐藏单元是可用的。我们尝试建立一些对每种隐藏单元的基础直觉,通常我们无法预先得知哪种隐藏单元表现最好,设计过程中需要不断的试错,用不同的隐藏单元组成网络进行训练,最后用验证集来评估其性能。 我们知道大多数参数化机器学习模型都是使用基于梯度的优化方...

2018-04-03 19:25:09 510

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除