统计学习
文章平均质量分 91
遇见一只执着的猴子
这个作者很懒,什么都没留下…
展开
-
统计学习笔记之基础篇
一、简述只看知识点的绕路,以下是个人学习经历之谈。接触机器学习半年多来,一开始对理论云云一脸蒙圈,于是直接上手看代码。虽然过程还是略头疼,但事实证明,“talk”确实“cheap”,"show code”确实是个简单粗暴却好用的方式。就我个人学习习惯来说,对于一些看不见摸不着的理论没什么耐心,我知道有些论文说得很好,然而对于有的文章就呵呵了,还不如贵坛某些经验之谈有意义。到现在,在彻底算搞...原创 2018-08-28 17:43:34 · 307 阅读 · 0 评论 -
统计学习笔记之朴素贝叶斯
简介如果说前面笔记中所介绍的方法跟统计没什么明显联系的话,那么这里介绍的朴素贝叶斯就纯粹在用基于统计的方法解决问题。首先朴素贝叶斯是基于贝叶斯和特征条件独立假设的分类方法。通过特征条件独立假设来学习输入/输出的联合分布(P(x,y)),同时根据贝叶斯定理预测给定输入x的后验概率(P(y|x))最大的输出y。一、贝叶斯分类方法对应到工程上,给定一个数据集,我们先学习先验和条件概率,即...原创 2018-08-31 23:00:45 · 168 阅读 · 0 评论 -
统计学习笔记之感知机
一、感知机模型感知机顾名思义,感知输入作出判断的一个模型,实际是一个二分类线性分类器,即判别模型。感知机实际实现方式就是对于任何输入空间(特征空间)中将实例划分成正负两类的超平面。所谓超平面,就是在N维空间中的一个平面,这个N很多时候远大于我们可见的三维及以下的具象空间。感知机模型输入空间,输出空间.由输入到输出的映射函数如下: ...原创 2018-08-29 17:53:02 · 170 阅读 · 0 评论 -
统计学习笔记之K近邻法
K近邻作为基本的分类和回归方法。在分类中,对新的实例,根据k个最近邻得训练实例的类别,通过多数表决进行预测。一、算法输入:,为实例的特征向量,为实例的类别。输出:实例的的所属的类y。(1)根据给定距离度量,在训练集中找出与最近邻的k个点,涵盖这k个点的x的领域记作。(2)在 根据分类决策规则(类似多数投票)决定x属于哪一类。二、相关概念值得一提的是关于距离度量的几...原创 2018-08-29 22:27:44 · 193 阅读 · 0 评论 -
统计学习笔记之决策树
决策树即用树结构(实际也可认为是if-then规则集合)来做分类与回归的方法。以下主要讨论的是分类问题。其分类方法是递归地选择最优特征,并根据该特征对训练数据进行分割,使得对于各个子数据有一个最好的分类过程。对应过程是特征空间划分和决策树生成,构建好的决策树很可能是发生过拟合的,因此需要对其自下而上剪枝,使树更简单,具有更好的泛化能力。由此决策树学习方法分三步:特征选择生成决策树决策树的修剪。...原创 2018-09-07 12:25:27 · 167 阅读 · 0 评论 -
统计学习之SVM
在学习机器学习之前,最好先去补充下线性代数部分知识。包括矩阵求导,矩阵的相关运算。(https://blog.csdn.net/u010976453/article/details/54381248;https://blog.csdn.net/u010976453/article/details/54342895SVM分类超平面: 。y为分类标签,大于0的点对应 y=1 的数据点,...原创 2019-04-10 20:38:19 · 481 阅读 · 0 评论 -
统计学习之K-means与KNN
K-means和KNN算法比较K-means:以空间中k个点为中心进行聚类,对每个样本,根据其距离聚类中心的距离(就近原则)对其进行归类,再通过迭代的方法,逐次更新各聚类中心的值,直到得到最好的聚类结果。算法可描述为:(1)适当选择c个类的初始中心;(2)在第k次迭代中,对任意一个样本,求其到c各中心的距离,将该样本归到距离最短的那个中心所在的类;(3)利用均值等方法更新该类的中心...原创 2019-04-10 21:15:36 · 223 阅读 · 0 评论 -
统计学习之核函数
在做分类的问题时往往会遇到一些非线性类别,意思是这时想要用一条直线将其正确分类,分隔开是不现实的。这时,就想到有没有一种方法可以将非线性问题转化为线性问题,答案是肯定的。也就是所谓的核技巧 —— 将低维非线性问题转化成高维线性。也就是说,低维可能不好分,高维空间可能就存在那么一个超平面可以将这些点分开。而这个低维到高维是需要转换映射关系的是不是,这个映射(直观说这映射就是一个多维空间向量)可能不是...原创 2019-04-11 11:15:08 · 696 阅读 · 0 评论