统计学习方法
文章平均质量分 77
约瑟夫的杂货店
世间本无事,庸人自扰之。
展开
-
统计学习方法之逻辑回归(Logistic Regression)
逻辑回归之所以叫逻辑是因为他用到了逻辑分布: 图形如下: 还是按照老样子,根据李航老师的统计学习方法三部分进行学习。 1 模型 假设输入为任意范围内的属性值,输出为0-1之间的概率。给定一个阈值,当概率大于该阈值时,Y = 1,否则Y= 0。(在等于阈值部分随意设定,毕竟一点之差不算差) 利用逻辑分布表示之: w*原创 2017-06-26 18:44:26 · 2564 阅读 · 0 评论 -
统计学习方法之感知机(Perception Mechine)
感知机(Perceptron)是一种简单的分类算法,只能用于数据集线性可分的情况。线性可分的意思是在欧几里得空间内,存在一个超平面可以将数据集分成两部分。在这里我刚好看了一眼逻辑回归(Logistic Regression)(PS:李航老师叫他逻辑斯提,其实是一个意思),都是分类方法,有什么区别呢?我发邮件问了徐悦甡老师,但是还没理我。我觉得区别就是: 1)感知机的要求比较高,必须是数据集线原创 2017-06-25 11:02:14 · 980 阅读 · 1 评论 -
KD tree算法(1)-简介&构建KD tree
KD tree算法是KNN(K-nearest neighbor)实现的重要算法之一,下面我们先简单介绍一些KNN的知识,然后开始我们KD tree的讲解。KNN分类算法KNN是一种简单的分类方法: 分类时,对新的实例,根据k个最近邻的训练实例的类别,通过多数表决等方式进行预测。以上是《统计学习方法》中对KNN的解释,简单明了。那么问题就在于如何快速有效找到K个近邻就是该算法的关键了。关于KN原创 2017-07-06 18:15:40 · 1751 阅读 · 0 评论 -
KD tree算法(2)-最近邻搜索KD tree
书接上文,我们这一张来讨论KD Tree的最近邻搜索。首先来看一下《统计学习方法》书中给出的算法描述: 我们用网上很常见的例子进行分析: (7,2),(5,4),(9,6),(2,3),(4,7),(8,1) 待测节点:(2,4.5) 我们先不管在坐标上是怎么划分的,先看看在KD Tree上是如何遍历的。 我们先来进行分析: (1)在kd树中找出包含目标点x的叶节点。这一步比较简原创 2017-07-07 11:23:38 · 1664 阅读 · 0 评论