burpee的博客

一.基本思想K近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。如下面的图：  通俗一点来说，就是找最“邻近”的伙伴，通过这些伙伴的类别来看自己的类别。比如以性格和做过的事情为判断特征，和你最邻近的10个人中（这里暂且设k=10），有8个是医生，有2个是强盗。那么你是医生的可能性更加大，就把你划到...

分类和回归的区别在于输出变量的类型。定量输出称为回归，或者说是连续变量预测；定性输出称为分类，或者说是离散变量预测。举个例子：预测明天的气温是多少度，这是一个回归任务；预测明天是阴、晴还是雨，就是一个分类任务。 1.回归问题的应用场景 回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一...

朴素贝叶斯是经典的机器学习算法之一，也是为数不多的基于概率论的分类算法。朴素贝叶斯原理简单，也很容易实现，多用于文本分类，比如垃圾邮件过滤。该算法虽然简单，但是由于笔者不常用，总是看过即忘，这是写这篇博文的初衷。当然，更大的动力来在于跟大家交流，有论述不妥的地方欢迎指正。1.算法思想——基于概率的预测逻辑回归通过拟合曲线（或者学习超平面）实现分类，决策树通过寻找最佳划分特征进而学习样本路径实现分类...

一、决策树决策树是机器学习最基本的模型，在不考虑其他复杂情况下，我们可以用一句话来描述决策树：如果得分大于等于60分，那么你及格了。这是一个最最简单的决策树的模型，我们把及格和没及格分别附上标签，及格（1），没及格（0），那么得到的决策树是这样的但是我们几乎不会让计算机做这么简单的工作，我们把情况变得复杂一点引用别的文章的一个例子这是一张女孩对于不同条件的男性是否会选择见面的统计表，图中是否见面作...

1、Linear Regression可以说基本上是机器学习中最简单的模型了，但是实际上其地位很重要（计算简单、效果不错，在很多其他算法中也可以看到用LR作为一部分）。先来看一个小例子，给一个“线性回归是什么”的概念。图来自[2]。假设有一个房屋销售的数据如下： 面积(m^2) 销售价钱（万元） 123 250 150 320 ...

本文的大纲：一，从机器学习问题角度分类二，从算法的功能角度分类三，机器学习算法决策树---------------------------一，从机器学习问题角度分类我们先从机器学习问题本身分类的角度来看，我们可以分成下列类型的算法。监督学习机器学习中有一大部分的问题属于监督学习的范畴，简单口语化地说明，这类问题中，给定的训练样本中，每个样本的输入x都对应一个确定的结果y，我们需要训练出一个模型(数...

学习矢量量化(Learning Vector Quantization)，简称LVQ，于1988年由Kohonen提出的一类用于模式分类的有监督学习算法，是一种结构简单、功能强大的有监督式神经网络分类方法。典型的学习矢量量化算法有LVQ1、LVQ2和LVQ3，其中前两种算法应用较为广泛，尤以LVQ2的应用最为广泛和有效。已经成功应用到统计学、模式识别、机器学习等多个领域。1、简介：学习矢量量化是一...

KNN和K-Means的区别