![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LXTML
windede
这个作者很懒,什么都没留下…
展开
-
(LXTML笔记)Radial Basis Function Network
Radial Basis Function Network 即RBF网络,这个名字平常并不常见,不过其中推导过程中的思想是很有学习价值的。 我们称上图中的h(x)h(x)h(x)即为RBFnetwork,之所以称之为网络是因为其实它可以看做是上右(红色)所示的“网络”。对应于SVM的结果,是 考虑一个full RBF network,即让所有的μμ\mu取遍所有的xmxmx_m,如...原创 2018-03-18 09:12:53 · 296 阅读 · 0 评论 -
(LXTML笔记)Adaptive Boosting
Adaptive BoostingAdaptive Boosting也是一种集成模型,课程中以下面的过程为例 老师让同学们对图中的水果进行分类,如同学们说red是苹果,然后老师就将正确分类的水果变小,错误分类的水果变大,这样的话,在下一轮的划分中,同学们就容易从错误的样例中找到“新的正确的”分类方法,最后,将这堂课的所有分类组合起来就是最后的很强的分类方法。Adaptive Boosti...原创 2018-03-06 10:17:01 · 224 阅读 · 0 评论 -
(LXTML笔记)正则化
regularization的目的是减少overfit的影响,如下图所示, H10H10H_{10}的意思是假设用10次多项式去拟合数据,那么显然有H10⊃H2H10⊃H2H_{10} \supset H_{2},不过由于假设H10H10H_{10}带来的解可能会有很多,所以我们可以约束一下,如加强假设为H2H2H_{2},这样就有可能能防止过拟合。 继续用多项式的例子来看,如上图所示...原创 2018-02-23 09:49:00 · 211 阅读 · 0 评论 -
(LXTML笔记)关于支持向量机[一]
在之前的PLA分类中,实际上可行的解(线)是有很多种的,但是有的线不太好,如图第一行第一幅图所示,如果这条线很靠近某个(红色)的点时候,那么容错率较低,这里每个点的灰色圆表示的是,给它一个位置上的扰动即可能存在的位置,这样的话,显然图第一行的最后一幅图所给的线是比较好的(从这个角度上看)注意到,灰色圆的半径最够大,实际上等价于这条线越“胖”,如图第二行所示。上面说的是SVM的基本思想。 ...原创 2018-02-25 09:08:57 · 205 阅读 · 0 评论 -
(LXTML笔记)关于支持向量机[二]
下面讨论的是对偶支持向量机,先看引入 由上一节我们知道,朴素支持向量机可以通过二次规划来直接解决,但是我们假设xxx本身是一个ddd维的向量,然后由于可能有复杂边界,所以我们常常要讲xxx转换到ZZZ空间上,通过zn=ϕ(xn)zn=ϕ(xn)z_n=\phi(x_n)来实现,在实际中这里的ϕϕ\phi往往是升维度的,因为一般是不可线性可分,然后(比如)高维的时候就变成线性可分了,不妨比如如...原创 2018-02-25 15:13:26 · 183 阅读 · 0 评论 -
(LXTML笔记)关于支持向量机[三]
上回讲到的矩阵QQQ中的每一个分量是qn,m=ynymzTnzm,qn,m=ynymznTzm,q_{n,m}=y_ny_mz^T_nz_m, 而zTnzm=ϕ(xn)Tϕ(xm)znTzm=ϕ(xn)Tϕ(xm)z^T_nz_m=\phi(x_n)^T\phi(x_m),首先要对xixix_i进行变换然后求内积,能不能将这两步骤合起来呢?(中心思想) 下面来一个栗子: 首先这里的ϕ2(...原创 2018-02-25 16:39:04 · 207 阅读 · 0 评论 -
(LXTML笔记)回顾LR,logR,SGD
由于后面关于SVM和LR,logR的结合,这里有必要重新回顾一下LR,logR的一些相关内容。Linear Regression我们这里考虑的是平方误差,即 minwEin=1N||Xw−y||2,minwEin=1N||Xw−y||2,min_w E_{in}=\frac{1}{N}||Xw-y||^2, 我们考察∇Ein=0∇Ein=0\nabla E_{in}=0,即可以得到...原创 2018-02-27 15:12:57 · 354 阅读 · 0 评论 -
(LXTML笔记)关于支持向量机[四]
Soft-Margin Support Vector Machine用hard-margin分类效果较差的主要原因有两点,分别是变换过于powerful以及坚持要求严格分开,不容得一点错误。 既然如此不妨像pocket那样,容许一定的错误,让犯错最小即可,不必完全正确 由于∑∑\sum内的量并不是一个线性量,这样的话就不能将其转换为一个QP问题,设置不好解,所以我们建立一个新的模型...原创 2018-02-28 15:35:36 · 209 阅读 · 0 评论 -
(LXTML笔记)集成模型
本章在数学上的内容较少,下面主要是讲述思想 弱小的模型集合起来也可以变得足够强大 有时候可以是所有弱小模型gtgtg_t,对其来一个权相同的投票模型,即G(x)=sign(∑Tt=11⋅gt(x))G(x)=sign(∑t=1T1⋅gt(x))G(x)=sign(\sum_{t=1}^T1 \cdot g_t(x)),类似的还有不同的权重,以及更加广义的G(x)=sign(∑Tt=...原创 2018-03-04 09:59:51 · 213 阅读 · 0 评论 -
(LXTML笔记)Neural Network
神经网络的话,向前计算是容易地,基本上就是矩阵的乘法加上一点点激活函数的变换,所以这里不做笔记。Backprop on NNet下面对学习过程做一点笔记,backprop实际上就是偏导的链式法则 我们考虑的是平方误差,即 对于输出层,如下图绿框所示,我们对enene_n关于第LLL层的权重做偏导 对于中间的隐含层,如红色框所示做偏导,有暂时不知道∂en∂s(l)j∂e...原创 2018-03-12 16:33:55 · 201 阅读 · 0 评论 -
(LXTML笔记)Gradient Boosted Decision Tree
AdaBoost-DTree根据AdaBoost的思想, 我们希望在生成多个分类器gtgtg_t的时候,增加一个类似于adaboost的权重ututu_t,即gt=A(D,ut)gt=A(D,ut)g_t=A(D,u^{t}),在最后组成最终分类器GGG的时候,增加权重at=at(ut)at=at(ut)a_t=a_t(u^t),这是整体的思路。那么现在的问题是如何嵌入一个ututu...原创 2018-03-12 15:06:18 · 222 阅读 · 0 评论 -
(LXTML笔记)Random Forest
Random Forest=bagging+decision tree随机森林实际上是决策树的bagging版,由bagging的原理,我们大致可以预想到随机森林的效果要比角决策树会好很多。那么按照bagging的思想的话,我们必须尽量让我们的各棵决策树尽量不同,本课中提出我们还可以对features进行boost, 即假设本来有很多的features,我们可以每次随机抽取一定量(d...原创 2018-03-12 10:47:19 · 243 阅读 · 0 评论 -
(LXTML笔记)Decision Tree
决策树也是有集成模型的形式,如图所示 如果以每一条路径为条件qtqtq_t,叶子为最后的分类函数gtgtg_t(有时候是常数)的话,那么整棵树可以表示为G(x)=∑Tt=1qt⋅gtG(x)=∑t=1Tqt⋅gtG(x)=\sum_{t=1}^T q_t \cdot g_t,这是条件型集成模型的形式。更一般地,我们常常写成递归的形式,即 G(x)=∑c=1C[b(x)=c]Gc(x),G(...原创 2018-03-06 11:03:51 · 199 阅读 · 0 评论