机器学习
文章平均质量分 74
vivi
这个作者很懒,什么都没留下…
展开
-
极大似然估计,最大后验概率估计(MAP),贝叶斯估计
三种参数估计方法都和贝叶斯公式有关,因此首先从分析贝叶斯公式入手:贝叶斯公式可以表达为: posterior:通过样本X得到参数的概率likehood:通过参数得到样本X的概率prior:参数的先验概率,一般是根据人的先验知识来得出的。比如人们倾向于认为抛硬币实验会符合先验分布:beta分布。,其中,比如当选取的时候,代表人们认为抛硬币得到正反面的概率都是0原创 2016-02-23 14:20:46 · 41469 阅读 · 2 评论 -
L0,L1,L2正则化浅析
在机器学习的概念中,我们经常听到L0,L1,L2正则化,本文对这几种正则化做简单总结。1、概念L0正则化的值是模型参数中非零参数的个数。L1正则化表示各个参数绝对值之和。L2正则化标识各个参数的平方的和的开方值。2、先讨论几个问题:1)实现参数的稀疏有什么好处吗?一个好处是可以简化模型,避免过拟合。因为一个模型中真正重要的参数可以并不多,如果考虑所有的参原创 2016-02-23 17:01:18 · 40533 阅读 · 8 评论 -
online learning,batch learning&批量梯度下降,随机梯度下降
以上几个概念之前没有完全其含义及区别,在本文浅析一下:一、online learning vs batch learningonline learning强调的是学习是实时的,流式的,每次训练不用使用全部样本,每来一个样本就更新一次模型。online learning其实细分又可以分为batch模式和delta模式。batch模式的时效性比delta模式要低一些。分析一下bat原创 2016-04-06 20:50:36 · 10470 阅读 · 0 评论