2015年06月_kxy司马羽鹤

原创《统计学习方法》笔记（六）--决策树

可以用于分类和回归，书中只介绍分类树用于分类定性：是一种判别式模型思路：利用训练数据，根据损失函数最小化的原则建立决策树模型，对于新的数据利用建立的决策树进行分类决策树学习的主要步骤：特征选择，决策树的生成和决策树的修剪。主要算法：ID3，C4.5，CART 1.关于决策树模型定义：一种描述对实例进行分类的树形结构。组成：结点（内部结点，叶节点）、有向边。其中内部结点表示

2015-06-30 08:43:17 760

原创《统计学习方法》笔记（五）--朴素贝叶斯

定性:生成式模型，用于分类基于贝叶斯定理和特征条件独立的假设。目标：是得到特征X=x的条件下Y等于各个yk的概率大小。思路：由训练集得到先验概率，条件概率；将测试点代入通过贝叶斯公式计算后验概率（计算中用到了条件独立的假设）；极大化这个概率得到合理的预测。模型：极大化后验概率策略：用到的是极大似然估计，也就是期望风险最小化中的L取0-1损失函数算法：实现：MATLAB中

2015-06-29 08:21:46 361

原创《统计学习方法》笔记（四）--k近邻法

K-nearest neighbor 可以用来解决分类问题与回归问题是一种判别式模型三要素：k值的选择、距离度量及分类决策规则。基本思路：给定一个训练集合，当测试数据到来时，根据某种距离度量找到与其最邻近的k个实例，这k个实例中的大多数属于哪个类别，那么测试数据就被归类于哪个类别。 1.模型：关于特征空间的一个划分。距离度量：欧式距离，LP距离，马氏距离。。。 k值选择：k

2015-06-28 21:08:51 339

原创统计学习方法（三）--感知机

定性：是一种二类分类的线性模型，属于判别模型（即从数据中直接学习得到的模型）旨在求出将训练数据进行线性划分的分离超平面。求得感知机模型的方法思路：利用梯度下降法对基于误分类点的损失函数进行极小化。下面分别从模型，策略，算法三个方面展开描述1.模型定义：f(x)=sign(w*x+b) 其中x是特征向量，w是权值向量，b叫偏置是一个数几何解释：w*x+b=0对应于特征空间中的超平面S，w是超平面

2015-06-27 09:36:48 378

原创《统计学习方法》笔记（二）

统计学习方法三要素： 1.模型分为概率模型（条件概率分布）和非概率模型（决策函数） 2.策略损失函数和风险函数风险函数又分为经验风险和结构风险 3.算法根本是在解决最优化问题

2015-06-26 08:50:09 214

原创《统计学习方法》笔记（一）

一、概论 “学习”，如果一个系统能够通过执行某个过程而改进它的性能，这就是学习。——Herbert A.Simon 基本假设：同类数据具有一定的统计规律。（这个假设是否有不成立的时候）目的：考虑学习什么样的模型，如何学习模型，以使得模型能对数据准确的预测和分析。方法：监督学习；非监督学习；半监督学习；强化学习。要素：模型；策略；算法。应用：分类；标注；回归。本书主要讨论监督

2015-06-25 08:30:36 257

原创无中生有

希望在这里留下我的足迹，每天都能记下学到的东西。轻轻的问问自己，今天你是否学到了什么？如果没有，那么抓紧时间吧，不然明天清晨又没什么可写的了；如果有，那么理清思路并牢记它，至少保证在明天清晨之前不会忘记它！

2015-06-24 13:48:32 257

司马羽鹤