数学模型
文章平均质量分 80
Marcus_XF
talking is cheap
展开
-
随机梯度下降法相关
在大规模机器学习问题中,很多算法最终都归结为一个这样的优化问题: minimizeω∈Rpg(ω):=1n∑i=1nfi(ω).\text{minimize}_{\omega \in R^p} \quad g(\omega) := \frac{1}{n}\sum_{i=1}^{n} f_i(\omega). 其中pp维向量ω\omega是待优化的模型参数,fi(ω)=L(ω,xi,yi)f_原创 2016-05-28 21:42:18 · 2435 阅读 · 0 评论 -
线性回归与正则化
线性回归与正则化线性回归总述追根溯源,回归(Regression)这一概念最早由英国生物统计学家高尔顿和他的学生皮尔逊在研究父母亲和子女的身高遗传特性时提出。他们的研究揭示了关于身高的一个有趣的遗传特性:若父母个子高,其子代身高高于平均值的概率很大,但一般不会比父母更高。即身高到一定程度后会往平均身高方向发生“回归”。这种效应被称为“趋中回归(Regression Toward the Mean)”原创 2016-05-05 13:10:12 · 8026 阅读 · 1 评论 -
关于布隆过滤器的本质
关于布隆过滤器的本质最早在吴军博士的《数学之美》上了解到布隆过滤器(Bloom Filter),它能以O(1)O(1)的时间代价完成集合元素的检索和插入,并以最小的空间代价保证了假正例(False Positive)概率不大于给定阈值。当时感觉得这东西是一个加强版的哈希表,后来算了一下发现确实如此:布隆过滤器的本质就是利用若干个哈希表的检索结果进行投票表决。我们先来看一个普通哈希表做集合元素检索的效原创 2016-05-02 20:54:44 · 884 阅读 · 0 评论