机器学习笔记-K近邻

最新推荐文章于 2024-05-02 03:17:01 发布
最新推荐文章于 2024-05-02 03:17:01 发布
阅读量623 收藏 1
点赞数
分类专栏： 机器学习 机器学习心得 文章标签： KNN K近邻 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lz_peter/article/details/82861021
版权
  • k近邻法不具有显示的学习过程，是一种懒惰学习
  • 即可分类，又可回归
  • 模型由三个基本要素——距离度量、k值的选择、分类决策规则决定
  • kd树是二叉树，表示对k维空间的一个划分。是一种便于对k维空间中的数据进行快速检索的数据结构
  • 构造kd树，相当于不断用垂直于坐标轴的超平面将k维空间切分，构成一系列的k维超矩形区域，构造好的kd树的每个叶子节点都对应k维空间的一个划分
  • 对于n个实例的k维数据来说，建立kd树的时间复杂度为O(k*n*logn)
  • k值的选择
    • k值越小，就相当于用较小的领域中的训练实例进行预测。表明模型越复杂，更加容易过拟合
    • 但是k值越大，模型越简单，如果k=N的时候就表明无论什么点都是训练集中类别最多的那个类
    • 所以一般k会取一个较小的值，然后用过交叉验证来确定

-永不妥协-
关注
专栏目录
机器学习之K-近邻算法
weixin_46294086的博客
02-06 174
K-近邻算法 简单地说，k-近邻算法采用测量不同特征值之间的距离方法进行分类。 优点：精度高、对异常值不敏感、无数据输入假定 确定：计算复杂度高、空间复杂度高 使用数据范围：数据性和标称型 k-近邻算法（kNN）工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据存在标签，即我们知道样本集每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似
林轩田机器学习基石心得9：Linear Regression
Augus的博客
01-24 452
0. 前言 该文章是本人观看视频后的一些心得，系统笔记请前往： http://blog.csdn.net/red_stone1/article/details/71599034 这一节课主要介绍机器学习常用的一种算法：线性回归。 1. 线性回归问题 线性回归问题：当样本的标签属性与特征呈线性关系时候，预测出一条直线（对应一维）、一个平面（对应二维）或者更高维的超平面（y=WTXy=
机器学习方法原理及编程实现--01.K近邻法(实现MNIST数据)
drilistbox的博客
03-28 1055
文章列表 1.机器学习方法原理及编程实现–01.K近邻法(实现MNIST数据). 2.机器学习方法原理及编程实现–01. . 3.机器学习方法原理及编程实现–01. . 4.机器学习方法原理及编程实现–01. . 5.机器学习方法原理及编程实现–01.. 6.机器学习方法原理及编程实现–01.. … 1 KNN 1.1 距离度量 1.2 K值的选择 1.3 分类决...
Logistic Regression（逻辑回归）原理及公式推导
oo笨小孩oo的专栏
07-30 13万+
Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，在实习生环境中也常常被使用，是一种经典的分类模型（不是回归模型）。本文主要介绍了Logistic Regression（逻辑回归）模型的原理以及参数估计、公式推导方法。
k-近邻算法的原理和代码实现
大胡子的博客
07-17 7214
 一、k-近邻算法的基本原理 对于未知类别属性数据集中的点： （1）计算已知类别数据集中的每个点与当前点之间的距离； 使用欧式距离公式，计算两个向量点xA和xB之间的距离公式如下：                  （2）按照距离递增次序排序； （3）选取与当前点距离最小的k个点； （4）确定前k个点所在类别的出现频率； （5）返回前k个点出现频率最高的类别作为当前点的预测分类。 ...
机器学习笔记-K近邻算法
m0_49549614的博客
06-11 102
k-近邻算法（kNN) 工作原理： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每—数据与所属分类的对应关系。 测试阶段：输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据,这就是k-近邻算法中k的出处,通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。 k-近邻算法的一般流程： (1)收集数
机器学习笔记08---k近邻学习
m0_64007201的博客
10-29 664
k近邻的简单介绍
机器学习---实验(1)--k近邻
qq_51729332的博客
10-13 1075
k-近邻算法 学习笔记
机器学习笔记1-k近邻算法的实现
最新发布
2401_84140080的博客
05-02 391
plt.show()3D图:import kNNplt.show()多图:import kNNplt.show()不熟悉的函数:add_subplot:用于指定图像的位置,例如111,指图像分成一行一列,在第一幅图上画scatter:画散点图,必须输入的有x,y坐标,可选项有颜色形状等zero:创建0矩阵归一化:处理不同取值范围的特征值时,通常需要将数值未硬化,如果将取值范围处理为0到1或者-1到1之间,下面公式可以将任意取值范围的特征值转化为0到1的区间内。
K-近邻算法KNN学习笔记
01-27
K-近邻算法（K-Nearest Neighbor, KNN）是一种基础的机器学习算法，主要用于分类和回归任务。它的核心思想是基于实例的学习，通过在训练数据集中寻找与新样本最为相似的邻居来做出预测。KNN算法由Cover T和Hart P在...
sklearn学习笔记-----K近邻算法回归
weixin_42566227的博客
11-27 641
一、KNN模型回归 在此我们已经学习了分类和回归，下面对这两种预测类型做一个理解概括： 1、分类：分类是一个“定性”问题，即区分数据是哪种性质。分类输出的不是一个可以度量的量，像之前的区分性别或者肿瘤是恶性还是良性，他的答案只有0或1（即正确或错误）。 （常见的评估分类器的性能衡量方法：准确率、精确率、召回率、F1、马修斯相关系数(MCC)） 2、回归：回归是一个“定量”问题，即输出的是一个量值，我们可以通过这个量值去衡量输出值与真实值之间的“误差”，例如预测身高164的男性他的体重为52kg，我们
sklearn学习笔记----K近邻算法分类
weixin_42566227的博客
11-24 1097
一、K近邻模型（简称KNN） KNN模型只基于一个假设：互相接近的实例拥有类似的响应变量值。 1、KNN是一种惰性学习模型，惰性学习模型也称为基于实例的学习模型。（之前的简单线性回归属于勤奋学习模型） 2、KNN是一种非参数模型，它并不意味着模型不需要参数，它意味参数的个数并不固定。 二、KNN的实现 KNN进行预测时要求计算出一个测试实例和所有训练实例之间的距离。 当我们要预测一个值的时候首先要设置K参数，K参数代表了想要找的距离最近的训练实例的个数，然后输出这K个实例中最普遍的属性。 #
机器学习笔记 - 使用K近邻(k-Nearest Neighbo)算法进行手写识别
学以致用 知行合一
12-13 279
K-近邻算法（kNN）工作原理： 存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
一分钟理解softmax函数（超简单）
热门推荐
L.Z.的博客
11-28 38万+
做过多分类任务的同学一定都知道softmax函数。softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。下图展示了softmax的计算方法： 下面为大家解释一下为什么softmax是这种形式。 首先，我们知道概率有两个性质：1）预测的概率为非负数；2）各种预测结果概率之和等于1。 softmax就是将在负无穷到正无...
准确率、精准率和召回率的理解
L.Z.的博客
09-29 7万+
            我们在在分类任务时，经常会对模型结果进行评估。评估模型好坏的指标有AUC、KS值等等。这些指标是通过预测概率进行计算的。而准确率、精准率和召回率也通过混淆矩阵计算出来的。下图是对混淆矩阵的介绍：     其中， TP：样本为正，预测结果为正； FP：样本为负，预测结果为正； TN：样本为负，预测结果为负； FN：样本为正，预测结果为负。 准确率、精准率和...
合页损失函数的理解
L.Z.的博客
03-19 2万+
    在学习支持向量机的过程中，我们知道其损失函数为合页损失函数。至于为什么叫这个名字，李航老师的《统计学习方法》上是这么说的：由于函数形状像一个合页，故命合页损失函数。下图为合页损失函数的图像（取自《统计学习方法》）：     之前对损失函数的意义一直不是很懂。今天，在看了吴恩达老师的《机器学习》相关视频后，又读了《统计学习方法》的相关内容。对合页损失函数有了自己的理解： 横轴表示函数...
变量相关性热力图
L.Z.的博客
04-13 1万+
我们在建模的时候为了避免多重共线性一般都会分析变量之间的相关性。衡量变量相关性我们一般都是计算变量两两之间的皮尔逊相关系数( Pearson correlation coefficient）。为了能够更好的展现变量之间的相关性，下面为大家介绍如何利用热力图来表示变量之间的相关性。 def corr_map(df): var_corr = df.corr() mask = np....
利用PermutationImportance挑选变量
L.Z.的博客
03-19 1万+
我们在构建树类模型（XGBoost、LightGBM等）时，如果想要知道哪些变量比较重要的话。可以通过模型的feature_importances_方法来获取特征重要性。例如LightGBM的feature_importances_可以通过特征的分裂次数或利用该特征分裂后的增益来衡量。一般情况下，不同的衡量准则得到的特征重要性顺序会有差异。我一般是通过多种评价标准来交叉选择特征。博主认为，若一个特...
机器学习实战：k-近邻算法解析
"机器学习实战笔记（1）——深入解析k-近邻算法" 这篇机器学习实战笔记主要聚焦于k-近邻（k-Nearest Neighbors, k-NN）算法，这是一种基础且实用的监督学习算法，常用于分类任务。k-NN算法的基本思想是通过寻找训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值