机器学习
WellWang_S
这个作者很懒,什么都没留下…
展开
-
机器学习-优化器:动量SGD、AdaGrad 以及Adam
上一篇博客讲了,随机梯度下降法偶尔也会失效 ,无法给出满意的训练结果 , 并解释了原因。本文将介绍,为了改进随机梯度下降法,研究者都做了哪些改动?提出了哪些变种方法? 各有哪些特点?动量( Momentum )方法为了解决随机梯度下降法山谷震荡和鞍点停滞的问题,我们做一个简单的思维实验。想象一下纸团在山谷和鞍点处的运动轨迹,在山谷中纸团受重力作用沿山道滚下,两边是不规则的山壁,纸团不可避免地撞在山壁,由于质量小受山壁弹力的干扰大,从一侧山壁反弹回来撞向另一侧山壁 ,结果来回震荡地滚下 。 如果当纸团来到原创 2020-10-07 15:52:13 · 3639 阅读 · 0 评论 -
机器学习-优化器:梯度下降法的原理及其优缺点
批量梯度下降法在机器学习中,优化问题的目标函数通常可以表示成其中, θ是待优化的模型参数 , x是模型输入,f(x,θ)f(x,θ)f(x,θ)的是模型的实际输出,y是模型的目标输出,函数 L 刻画了模型在数据 (x,y) 上的损失pdatap_{data}pdata表示数据的分布, E表示期望。 因此 ,L(θ)L(θ)L(θ)的刻画了当参数为 θ 时, 模型在所有数据上的平均损失。我们希望能够找到平均损失最小的模型参数,也就是求解优化问题经典的梯度下降法采用所有训练数据的平均损失来近似目标函原创 2020-10-05 22:37:56 · 4070 阅读 · 1 评论 -
非监督学习:高斯混合模型
高斯混合模型( Gaussian Mixed Model, GMM )也是一种常见的聚类算法,与 K均值算法类似,同样使用了 EM 算法进行迭代计算。 高斯混合模型假设每个簇的数据都是符合高斯分布(又叫正态分布)的 , 当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。高斯混合模型样例图1是一个数据分布的样例 , 如果只用一个高斯分布来拟合图中的数据,图中所示的椭圆即为高斯分布的二倍标准差所对应的椭圆 。 直观来说,图中的数据明显分为两簇,因此只用一个高斯分布来拟和是不太合理的 , 需要推广到用多原创 2020-10-04 20:30:17 · 1173 阅读 · 0 评论 -
非监督学习: K 均值聚类(原理、步骤、优缺点、调优)
支持向量机、逻辑回归、决策树等经典的机器学习算法主要用于分类问题,即根据一些己给定类别的样本, 训练某种分类器,使得它能够对类别未知的样本进行分类。与分类问题不同,聚类是在事先并不知道任何样本类别标签的情况下,通过数据之间的内在关系把样本划分为若干类别,使得同类别样本之间的相似度高 , 不同类别之间的样本相似度低。分类问题属于监督学习的范畴 , 而聚类则是非监督学习。K 均值聚类K均值聚类( K-Means Clustering )是最基础和最常用的聚类算法。它的基本思想是 通过迭代方式寻找 K个簇(C原创 2020-10-03 20:35:28 · 12726 阅读 · 0 评论