回归
文章平均质量分 66
记忆星空
这个作者很懒,什么都没留下…
展开
-
Fisher's linear discriminant(Linear Discriminant Analysis)
Fisher's linear discriminant的主要思想是(简单起见这里先讨论分成2类的情况)将高维的数据投影到一维,在这一维上,我们就能轻易得到分类。以下两幅图分别来自prml 和the elements,我觉得非常好的说明了在分成两类的情况下Fisher's linear discriminant的思想(左图的投影没有右图的好):原创 2015-01-21 20:37:36 · 7385 阅读 · 4 评论 -
CART Decision Tree and two pruning theory
之前讲过ID3和C4.5决策树,CART和他们的区别虽然不大,但还是有一些值得说明的区别:1 CART节点分支只能是两个,就是说二分,对于连续型feature,那么就和C4.5的方法一样,选取最优的分界。如果是离散型feature,那么我们想要分成两部分,就显得比较复杂,比如说1,2,3分成两部分,可以是{1,2},{3}和{1,3},{2},{2,3},{1}。这里可以说一个公式,n个属性,原创 2015-04-16 11:23:12 · 733 阅读 · 0 评论 -
Projection Matrix and Linear Regression
假如想把一个向量投影到一个空间,我们想得到投影后的向量,那么我只需要用一个投影矩阵乘以原来的向量就能得到投影后的矩阵,那么如何得到这个投影矩阵呢,下面开始推导,首先从一维空间开始:对于上面这幅图来说,a,b都是向量,x是一个数,可以得到:解出: 因为aTb是一个数字,所以我们能将数字和向量a交换,得到投影后的向量xa。对于投影到一维空间来说,原创 2014-12-15 11:42:14 · 1614 阅读 · 2 评论 -
Least Angel Regression
最小角回归和上一篇说的forward stepwise有一些相似的地方是都是将一些variable选到variable集合中来,不一样的是,forward stepwise 每次选的都是与当前残差相关度最大的variable,选进来以后,会重新对所有的入选variable做一下回归,而最小角回归的做法是,同样是首先找到与当前残差相关度最大的variable,然后沿着这个这个variable的方向行原创 2015-01-12 11:48:46 · 1240 阅读 · 0 评论 -
Regularization and Ridge Regression
对于线性回归中过拟合的问题,有一种叫做regularization的方法,将代价函数改成了原创 2014-12-23 11:58:00 · 920 阅读 · 0 评论 -
About Bayesian Theory
当我们要判断一个x他属于哪一类时,也就是要判断他的y值,那么可以通过这个公式转移,朴素贝叶斯分类器的做法比较简单,直接比较分母,因为分子是相同的,我只要找到使得分子最大的那个y,就是x属于的类别,但是这里需要注意的有两点:1 P(x/y)应该可以写成P(x1/y)*p(x2/y)*....p(xn/y),这需要这些属性条件独立才能这样拆开来做。2 对于P(xi/y)这个值,如果一旦出现了0原创 2015-04-18 15:58:31 · 602 阅读 · 0 评论