统计学习方法笔记
文章平均质量分 77
天涯__
我不是归人,是个过客。
展开
-
感知机相关概念及Python实现
感知机感知机目标在于对线性可分的数据集,能够求出将训练数据进行线性划分的分离超平面。从以上描述可以知道,分离超平面不止一个,也就是说,只要能找到其中一个分离超平面,模型就成功了。 而支持向量机,是在感知机的基础上,进一步要求寻找到划分超平面距离最近分类样点的距离之和达到最小,也就是不仅要经验风险最小,而且同时也要求结构风险最小化。模型输入空间是X∈Rn,输出空间是Y={+1,-1}映射函数原创 2016-09-13 15:57:26 · 610 阅读 · 0 评论 -
Apriori算法——关联分析
查看原文:http://www.wyblog.cn/2017/01/05/apriori%e7%ae%97%e6%b3%95%e5%85%b3%e8%81%94%e5%88%86%e6%9e%90/概念Apriori算法是数据挖掘算法中的重要一员,它是通过对数据集进行关联分析,从而分析出数据集里项与项之间的关联关系。算法最简单直接的应用,当属对超市里被购买的物品的关联分析,从而挖掘出顾客购买产原创 2017-01-05 16:35:57 · 695 阅读 · 0 评论 -
XGboost文献学习笔记
查看原文:http://www.wyblog.cn/2016/11/25/xgboost%e6%96%87%e7%8c%ae%e5%ad%a6%e4%b9%a0%e7%ac%94%e8%ae%b0/XGboost的学习资料主要为以下两个。其一是PPT资料: http://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf其二是论文原创 2016-11-25 16:06:00 · 2353 阅读 · 0 评论 -
提升方法及AdaBoost
查看原文:http://www.wyblog.cn/2016/11/01/%e6%8f%90%e5%8d%87%e6%96%b9%e6%b3%95%e5%8f%8aadaboost/提升方法提升方法思路比较简单,它意在通过改变训练样本之间相对的权重,从而学习出多个分类器,并将这些分类器进行线性组合,从而提高分类的性能。从以上思路可以看出,提升方法将一个复杂的任务分配给多个专家进行判断,并原创 2016-12-07 20:11:46 · 2443 阅读 · 0 评论 -
统计学习浅谈
如果一个系统能够通过执行某个过程改进它的性能,这就是学习。 ————赫尔伯特.西蒙人类的不断学习,经验占了很大的部分。通常我们遇到一件事需要判断,都是根据以往的经验,综合现在的情形,做出决策。而计算机呢?计算机没有自主学习的能力,它的经验就只能靠我们去提供。我们提供的就只能是能被计算机识别的一串串数字,那么计算机如何利用这些数字来形成经验呢?统计学习方法应运而生。计算机通过对数据进原创 2016-10-19 13:55:32 · 523 阅读 · 0 评论 -
朴素贝叶斯相关概念
朴素贝叶斯朴素贝叶斯是贝叶斯分类器里的一种方法。之所以称它朴素,原因就在于做出了特征条件全部独立的假设,但实际上,特征相互之间很大程度上都不是独立的,都有一些内在联系。但是,实践证明这因素也并未产生多大影响。 基于以上,可以总结, 1. 当样本特征数量比较多,且相关性比较大时,不适宜用朴素贝叶斯分类器,可以采用更好的如决策树等。 2. 当样本特征相关性不是那么强时,便可采用。数学模型首先来回忆原创 2016-09-18 21:26:53 · 727 阅读 · 0 评论 -
决策树与随机森林相关概念
决策树所谓的决策树, 就是一种树形结构。其内部每个节点代表一个特征的测试,每个一个分支代表测试的输出,而每个叶子节点则代表一种类别。 而随机森林,就是指的一群决策树所组成的一个森林。当一个新的样本需要归类,它的结果不是仅仅取决于某一刻决策树的结果,而是让森林里所有的决策树进行投票,选出结果最多的那类作为输出。 决策树形式如下: 构建决策树构建决策树的基本思想是以信息熵为度量,构造一棵熵值下原创 2016-09-18 21:01:04 · 1152 阅读 · 0 评论 -
K近邻相关概念及其Python实现
K近邻它是一种基本分类与回归的方法。在分类时,根据其K个最近邻的训练实例的类别,通过多数表决等方式进行预测。K近邻不具有显式的学习过程。模型K近邻法,实际上对应特征空间的划分。以最近邻法为例,子空间的划分,是相邻点之间做垂直平分线/面,然后相交集后,划分出的各个子空间。当实例点处在某一特征子空间中,那么它的类别就对应于特征子空间所对应的类别。 要找出最近的K个点,对于“最近”这个概念,首先就要定义原创 2016-09-15 12:29:07 · 626 阅读 · 0 评论 -
PAGE-RANK算法及SPARK实现分析
查看原文:http://www.wyblog.cn/2017/01/06/pagerank%e7%ae%97%e6%b3%95%e5%8f%8aspark%e5%ae%9e%e7%8e%b0%e5%88%86%e6%9e%90/算法这里不总结算法,下面这篇博客总结的很清晰。http://www.cnblogs.com/fengfenggirl/p/pagerank-introduction原创 2017-01-06 17:17:05 · 3001 阅读 · 0 评论