算法
文章平均质量分 65
BUPT_WX
这个作者很懒,什么都没留下…
展开
-
机器学习算法笔记2_1:生成学习算法(Generative Learning algorithms)
我们之前学习的算法都是基于p(y|x;θ)p(y|x;\theta), 他的思想是找出找出一个决策边界来将两类分开,而生成算法是先对两个类别分别建模,为了将样本分开,将样本代入两个模型,看样本与哪个类别更匹配。 这种试图直接从输入xx映射到类别标签{0,1}的算法被称为判别学习算法;而通过计算p(x|y)(和p(y))来得到模型的算法被称为生成学习算法 通过贝叶斯函数得到p(y|x)=p翻译 2016-04-21 14:01:07 · 5364 阅读 · 0 评论 -
机器学习笔记1_3:广义线性模型(GLM, Generalized Linear Models)
形式: η\eta称为自然参数(natural parameter), T(y)是充分统计量(通常T(y)=y),a(η)a(\eta)称为log partition function,上式中e−a(η)e^{-a(\eta)}作为归一化参数。通过改变η\eta可以得到不同的分布 伯努利分布(对应逻辑回归): 上式中η=log(ϕ1−ϕ)\eta=log(\frac{\phi}{1-\翻译 2016-04-21 14:05:29 · 2003 阅读 · 0 评论 -
CS231n assignment1 multi svm -- 矩阵乘法的几何意义
问题引入在cs231n的assignment1多类svm部分中,需要采用完全向量法求解损失函数对权重的梯度原创 2016-10-08 23:36:48 · 3566 阅读 · 0 评论 -
梯度下降优化方法总结
参考并翻译自Sebastian Ruder博士的总结文章An overview of gradient descent optimization algorithms。梯度下降方法是目前最流行的神经网络优化方法,现在主流的深度学习框架(caffe,keras,MXNET等)都包含了若干种梯度下降算法。虽然我们可以把它们看成黑盒直接使用,但是在不同场合下相同的算法可能有着很大的性能差异,因此,了解这些翻译 2016-10-08 23:34:46 · 17038 阅读 · 1 评论