统计学习方法
Little Coder
向往美好生活的程序员
展开
-
统计学习方法-李航 第三章 K近邻法
简介 K近邻 算法(KNN)是一种基本分类与回归方法,指从一个训练数据集中,找到相近的K个点,这K个实例多数属于某个类,就把输入实例分为这个类。特殊情况,当K=1时,称为最近邻算法。 模型 模型有3个要素 距离度量方法 k值的选择 分类决策规则 当3要素确定的时候,对任何实例(训练或输入),它所属的类都是确定的,相当于将特征空间分为一些子空间。 距离度量方法 当p=1时,为曼哈顿距离:...原创 2019-07-08 14:17:20 · 489 阅读 · 0 评论 -
统计学习方法-李航 第二章 感知机
《统计学习方法》第一篇博文,对应原著第二章,感知机, 通过对原著的理解,在加上自己的推导,后面有时间再加上代码的实现。 感知机模型 感知机是一个二类分类的线性模型,输入为实例的特征向量,输出为实例的类别,取+1和-1值。 感知机的几何解释是,线性方程 将特征空间划分为正负两个部分: 这个平面(2维时退化为直线)称为分离超平面。 学习策略 假定数据集线性可分,我们希望找到一个合理的损失函数。 ...原创 2019-07-01 09:59:34 · 463 阅读 · 0 评论 -
统计学习方法-李航 第四章 朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。训练的时候,学习输入输出的联合概率分布;分类的时候,利用贝叶斯定理计算后验概率最大的输出。 朴素贝叶斯法的学习与分类 而条件概率分布条件概率分布 参数数量是指数级的,也就是X和Y的组合很多,假设xj可能取值Sj个,Y可能取值有K个,那么参数的个数是参数个数 特别地,取xj=S,那么参数个数为KSn,当维数n很大的时候,就会发生维数灾难...原创 2019-08-12 16:19:32 · 440 阅读 · 0 评论