统计学习
MoonLer
这个作者很懒,什么都没留下…
展开
-
统计学习之五-------决策树之分类树(ID3,C4.5)
0. 前沿本文想简单去概括一下决策树的大致内容,具体细节详见后面文章1. 决策树模型1.1 概括ID3,C4.5决策树主要用于分类,注意,这两个树不是二叉树,只是下面图这样举例子而已我们先看它长什么样子,如下图:数据(x,y),其中数据x特征维度为2(上进心,有房子),y有三类(goodbye,备胎,考虑)上图中的就是决策树的模型(我们最终也是要根据数据,构造出一个树结构,这就是它的模型),其中方框(非叶子节点)表示特征,圆框(叶子节点)表示类别,从父节点到孩子节点的选择过程属于特原创 2020-10-06 14:19:00 · 576 阅读 · 0 评论 -
统计学习方法四----朴素贝叶斯分类器
0. 概率 ~~~~~ 在模式识别领域的⼀个关键概念是不确定性的概念。它可以由测量的误差引起,也可以由数据集的有限⼤⼩引起。概率论提供了⼀个合理的框架,⽤来对不确定性进⾏量化和计算。 ~~~~~ 在概率图模型中,每个结点表⽰⼀个随机变量(或⼀组随机变量),链接表⽰这些变量之间原创 2020-10-05 16:55:23 · 150 阅读 · 0 评论 -
统计学习基础三----KNN
0. 导论本文简单介绍梳理一下KNN理论知识.本文的重点其实是kd tree的构建和查找算法,但是算法最好的学习方法是coding出来,因此本文最后给出参考资料.KNN是一种思想很简单的分类算法.它不算一个标准的统计模型,更像是一个纯粹基于数据的算法,它没有类似于感知机那种优化迭代的学习超参数过程.1. “模型”其实没有严格的模型说法,按照它的过程来说: 就是你有一堆(xi,y)的训练数据,一个新的x需要分类,对于KNN来说就是寻找x在这一堆数据中最近的k个点,然后统计这k个点中y的类别个数,原创 2020-10-05 14:21:37 · 169 阅读 · 0 评论 -
统计机器学习-------第二章 感知机
0. 介绍本章不从神经网络单元的角度考虑,单纯的把它抽象出来,看作一个简单的二分类线性模型.感知机是神经网络和支持向量机的基础.1. 感知机模型 ~~~~ 感知机模型是一个线性二分类模型,学习的目的是寻找一个可以将实例划分为正负两类的超平面,其模型如下:作用: 输入数据的特征向量 x,输出数据的类别(-1,+1),很明显这是一个判别模型. f(x)=sign(w⋅x+b)\原创 2020-10-04 13:42:57 · 239 阅读 · 0 评论 -
[1]统计学习方法---概论
1. 统计学习三要素模型所要学习的条件分布概率或者决策函数.决策按照什么样的方法学习或者选择最优的模型(即,选择参数空间内最优的一组参数)算法学习模型(参数)的具体计算方法.2. 避免过拟和的方法正则化 Y = 损失函数 + 正则化项. 过拟和产生原因是因为模型学习训练数据过度,甚至学习到了噪声点. 正则化目的在于减少模型复杂度,做法是将模型的参数的某种范式+损失函数共同作为最后的经验损失.原创 2020-10-03 14:01:17 · 118 阅读 · 0 评论