机器学习
文章平均质量分 51
youdianluanluan
这个作者很懒,什么都没留下…
展开
-
判别模型和生成学习
X表示特征,y表示预测变量判别模型:对p(y|x,θ)进行建模,求的是p(y|x,θ)的条件概率。对于线性回归,或者因变量是连续型变量,假设满足高斯分布模型,目标/损失函数的定义有2种方法:求给定样本最小化误差的平方和,即最小化二乘法,可通过求矩阵的逆来得到θ,但矩阵不一定是可逆的,而且计算量大,一般考虑用梯度下降法或者牛顿法迭代计算,给定样本的最大似然。2种方法殊途同归,原创 2013-04-02 13:13:43 · 918 阅读 · 0 评论 -
generalized linear model, GLM
首先解释一下指数分布族的概念。如果某个概率分布能够表示这种指数形式:例如假设某个伯努利分布Ber(fai): P(y=1;fai) = fai,这里fai表示数学符号...取,则,所以伯努利分布是指数分布族的特例。指数分布族还包括常见的高斯分布、指数分布、伽马分布、泊松分布等。现在来看一下广义线性模型的三个设计决策(或者说假设):(1)给定输入X、theta,我原创 2013-04-08 21:50:43 · 3392 阅读 · 0 评论 -
朴素贝叶斯算法
X={x1,x2,...,xn},Y={y1,y2,...,ym}根据贝叶斯公式:p(y|x) * p(x) = p(x|y)*p(y)argmax p(y|X) = argmaxP(X|y)p(y),即给定X,计算X属于每个分类的概率,将它归为概率最大的那一类因此,只需要求出p(X|y)和p(y)即可,即对p(X|y)和p(y)建模在朴素贝叶斯算法中,X的特征是相互独立的,即p(原创 2013-04-02 18:44:05 · 822 阅读 · 0 评论 -
PCA,PrincipalComponentAnalysis
PCA是一种unsupervised learning,可以将原本的数据降低维度,而使得降低了维度的数据之间的方差最大,但降维后的变量能尽可能多地反映原来变量的信息。也就是说,我们希望能找到一个从原d维到新的(k<d)维空间的具有最小信息损失的映射。X在W方向上的投影为: ,样本被投影到W1后被广散分布,使得样本点之间的差别变得最明显。如果Z1=W1TX,并且Cov(X)=∑,则 V原创 2013-04-11 23:09:35 · 699 阅读 · 0 评论 -
SVM Support Vector Machine
要理解SVM的思想,可先看看什么是最优间隔分类器。SVM的主要思想可以概括为两点:(1)它是针对线性可分情况进行分析,对于线性不可分的情况,通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。(2)它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器得到全局最优化。原创 2013-04-07 14:09:58 · 928 阅读 · 0 评论