2018年04月_喂鱼W_y

原创机器学习之优化算法(从SGD到Adam)

我们已经知道梯度下降法，需要沿着整个训练集的梯度反向下降。使用随机梯度下降方法，选取小批量数据的梯度下降方向，可以在很大程度上进行加速。SGD及其变种可能是机器学习中应用最多的优化算法。我们按照下面的顺序一一理解一下这些算法。SGD->SGDM->NAG->AdaGrad->RMSProp->Adam->Nadam1、随机梯度下降(SGD)核心是按照...

2018-04-25 16:33:29 6230 1

现在做在线学习和CTR常常会用到逻辑回归（ Logistic Regression），而传统的批量（batch）算法每次迭代对全体训练数据集进行计算，无法有效地处理超大规模的数据集和在线数据流。google提出的FTRL（Follow-the-regularized-Leader）算法，在处理诸如逻辑回归之类的带非光滑正则化项（例如1范数，做模型复杂度控制和稀疏化）的凸优化问题上性能非常出色。...

2018-04-21 20:57:14 1789

翻译机器学习之统计知识

一、什么是最大似然估计、最大后验估计以及贝叶斯参数估计抛掷三次硬币，如果三次都是正面，那么问下一次硬币正面朝上的概率是多少？这种情况下，我们需要根据已观察到的三次样本数据D来估算概率正面朝上的概率p。最大似然估计最大似然估计\bf{最大似然估计}一种方法是找到能最大化观测数据的似然函数P(D;θ)P(D;θ)P(D; \theta)的参数θθ\theta的值。这里θθ\theta是...

2018-04-21 19:22:25 423

原创机器学习之面试题

翻看csdn里的博客，无意间看到一篇分享机器学习面试经验的文章，里面博主列举了他面试遇到的问题，我觉得很不错，然后加上我个人的理解分享给需要的人。1、什么是boosting tree？提升方法（boosting）是一种常见的统计学习方法，它的理论基础是：强可学习与弱可学习是等价的，在概率近似正确（PAC）学习的框架下：强可学习是一个概念，若存在一个多项式的学习算法能够学习它，并且正...

2018-04-21 13:53:43 2411

转载机器学习之自编码器

自编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。其内部有一个隐藏层h，可以产生编码表示输入。该网络由两部分组成：一个由函数h=f(x)h=f(x)h=f(x)表示的编码器和一个产生重构的解码器r=g(h)r=g(h)r=g(h)。一般我们需要加一些约束给自编码器，使得其输出只是近似于输入，强制模型考虑输入数据的哪些部分需要被优先复制，从而学习数据中的有用特性。...

2018-04-19 13:15:08 2496

翻译机器学习之FM与FFM（Factorization Machines）

FM是机器学习中的一种类似于SVM的算法模型，常用于高维稀疏的数据中。相比SVM中的多项式核，其同样可以捕捉数据中不同变量之间的作用关系。但是相比SVM，它具有如下几个优点: 1、FM允许在非常稀疏的数据下进行参数估计，SVM不行。2、FM具有线性复杂度，可以在原始状态下进行优化，不依赖于支持向量，比如SVMs。3、FMs是一种适用于任意实值特征向量的通用预测器。而其他的一些对于数据有限制。首...

2018-04-19 00:01:58 4225

转载神经网络之激活函数

隐藏单元的选择是神经网络设计中的一个活跃的研究领域，目前尚未有明确的指导性理论原则。通常我们都默认选择整流线性单元作为隐藏单元，但仍有一些其他类型的隐藏单元是可用的。我们尝试建立一些对每种隐藏单元的基础直觉，通常我们无法预先得知哪种隐藏单元表现最好，设计过程中需要不断的试错，用不同的隐藏单元组成网络进行训练，最后用验证集来评估其性能。我们知道大多数参数化机器学习模型都是使用基于梯度的优化方...

2018-04-03 19:25:09 510

wyisfish的博客