![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 55
长大了的暗
这个作者很懒,什么都没留下…
展开
-
机器学习:核函数是映射吗?
废话前段时间,有一个面试,让介绍SVM,最后谈到核函数上面,我说核函数就是向高维空间映射使得本身在低维空间不可分的情况,在高维空间变得更可能可分。然后老师突然反问,“核函数是映射吗?你确定吗?”,我当时说是,被否定了。现在想想它和映射确实可以说是无关的。理解核函数是高维空间中求内积的的一个便捷方式。它确实隐含了一个映射,但它本身并不是映射,只是在隐含的高维空间中求内积,是一个trick,所以有kernel trick的叫法,关于隐含的高维空间,很多时候是求不出来对应的显式表达式的。反而,kernel原创 2021-06-30 11:13:34 · 504 阅读 · 0 评论 -
机器学习:VAE重参数技巧一个细节理解
关于q(z)q(z)q(z)和p(ε)p(\varepsilon)p(ε)VAE中,用随机梯度变分推断进行参数θθθ进行更新时,如果直接从q(z)q(z)q(z)中采样z,算期望的梯度会导致"高方差问题",因此采用重参数化技巧,换种方式采样,即用随机变量ε\varepsilonε来代表随机性,服从一个标准正太分布,然后通道对这个随机变量进行变换。一个关键步骤是:Ez q(z)[f(z)]=Eε p(ε)[f(g(ε))]E_{z~q(z)}[f(z)]=E_{\varepsilon原创 2021-06-29 16:55:33 · 3550 阅读 · 2 评论 -
机器学习:二分类到多分类-ovr,ovo,mvm,sofmax
一般情况下,我们都认为逻辑回归(LR)用来解决二分类问题,BCE损失函数也是用来解决二分类问题的,那逻辑回归以及BCE损失函数能否用来做多分类任务呢,答案是肯定的。有两种方法一、将多分类任务拆解成多个二分类任务;二、对传统的逻辑回归模型进行改造,使之变为softmax回归模型进行多分类任务求解(也就是sklearn中逻辑回归的multi_class=‘multinomial’), 我们可以认为多元逻辑回归就是sofmax回归多分类任务拆解成多个二分类器将多分类任务拆为多个二分类任务求解,一般有.原创 2020-07-06 21:35:50 · 2456 阅读 · 1 评论 -
机器学习:线性回归的理解
关于假设数据高斯分布的理解当误差符合正态分布ξ−N(0,σ2)\xi -N(0,σ^2)ξ−N(0,σ2)时,因变量则符合正态分布N(Xθ,σ2))N(Xθ,σ^2))N(Xθ,σ2)),其中预测函数y=Xθy=Xθy=Xθ,则观测值应该为y^=y+ξ\hat{y}=y+\xiy^=y+ξ,这个也就是说当误差符合正态分布时,其因变量必然也符合正态分布。在用线性回归模型拟合数据之前,首先要求数据应符合或近似符合正态分布,否则得到的拟合函数不正确。若本身样本不符合正态分布或不近似服从正态分布,则要采用其原创 2020-06-16 14:15:07 · 516 阅读 · 0 评论