《统计学习方法》读书笔记——第三章 K近邻法

最新推荐文章于 2024-01-24 22:16:36 发布
最新推荐文章于 2024-01-24 22:16:36 发布
阅读量227 收藏
点赞数
分类专栏： 统计学习方法-李航 读书笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/s000da/article/details/88025228
版权

写在前面

本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。

目录

写在前面

本章框架

KNN算法

KNN模型

KNN算法的实现

补充知识点

KNN与K-means

本章框架

KNN算法

针对目标点，找到和目标点最近的K个点，根据这K个点分类决策目标点的类别。

KNN模型

KNN模型的三要素：距离度量、K值选择、决策规则

其中K值越大，模型越简单；K值越小，模型越复杂。

KNN算法的实现

构造和搜索kd树（一种二叉树）

构造过程：根据实例点对特征空间进行划分

补充知识点

KNN与K-means的区别

 

 

 

'Themis'
关注
专栏目录
【统计学习方法】学习笔记——第三章：K近邻法
小哲的博客
02-09 800
统计学习方法学习笔记——K近邻法1. k近邻算法2. k近邻模型2.1模型2.2距离度量2.3 k值的选择2.4 分类决策规则3. 估计误差与近似误差3.1 估计误差3.2 近似误差3.3 两者区别与联系4. k近邻法的实现：kd树4.1 构造kd树参考资料 kkk近邻法（k-nearest neighbor, k-NN）是一种基本分类与回归方法。这里只讨论分类问题中的k近邻法。k近邻法的输入为实例的特征向量，对应于特征空间中点；输出为实例的类别，可以取多类。k近邻法假设给定一个训练数据集，其中的实例类别已
统计学习方法——K近邻法（学习笔记）
hongguihuang的博客
02-20 587
K近邻算法简介 K近邻法是一种基本分类与回归方法。K近邻法的输入为实例的特征向量（特征空间的点），输出为实例的类别，可以取多类。 K近邻算法假设给定一个训练数据集，其训练数据集实例的类别已定，对新的输入实例，找出新实例K个最近邻的训练点，根据K个最近邻训练实例的类别，通过多数表决等方式进行预测。 K近邻法的三个基本要素：K值的选择、距离度量、分类决策规则。 下面介绍一下kd树、搜索kd树的过程以及...
统计学习方法——第3章 k近邻法（个人笔记）
pk296256948的博客
04-05 1274
统计学习方法——第3章 k近邻法（个人笔记） 参考《统计学习方法》（第二版）李航 3.1 k近邻算法 定义：给定一个训练数据集，对新输入的实例，在训练数据集中找到与该实例最邻近的k个实例，在这k个实例，多数属于某个类别，就把该输入实例划分为这个类别。 算法3.1： 输入：训练数据集 输出：实例所属的类 （1）根据给定的距离度量，在训练集T中找出与最邻近的k个点，涵盖这k个点的的邻域记作; （2）在中根据分类决策规则决定的类别： 其中，I为指示函数，即当是，I=1，否则，I=0。
统计学习方法笔记——第三章 K近邻法
baidu_41304732的博客
04-12 271
K近邻法（KNN）是一种基本的分类与回归的方法，这里只介绍其分类问题。KNN算法的基本思想：对于一个新的输入数据点，在训练集中找到与它距离最近的K个点，若这K个点中大部分属于A类，则该数据点也属于A类。算法流程：特殊地，若K=1，则相当于离输入实例最近的一个样本实例直接决定了它的类别。KNN模型的三要素：距离度量、K值选择、分类决策规则。距离度量：数据点之间的距离有很多度量标准，一般来说可概括为下...
统计学习方法——学习笔记——k近邻法
m0_46290848的博客
04-18 213
首先先确定一下自己的写作思路 模型，最小化目标的确定，算法（求解的具体方法） 模型 k近邻法（这里只讨论分类过程中）；该算法的作用是给定一个测试点，从训练集合中找出k个和该点距离最近的点，更具求解出这K个点中所属类别最多的类别当作该测试点的预测类别。 数学公式 输入数据集 x是特征向量y是对应的类别 第一根据给定的距离度量度量，找出k个点，记这k个点组成的领域为 该算法的预测值即输出为y (I...
《统计学习方法》读书笔记第3章：K近邻法
z1433768804的博客
03-10 515
第三章:k近邻法 k近邻法（k-nearest neighbor， k-NN）于1968年由Cover和Hart提出，是一种基本分类与回归方法。当做分类预测时，一般采用多数表决的策略，做回归时一般采用平均值法决策。对于分类问题，k近邻法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别，属于监督学习。KNN算法实际上利用训练数据集对特征空间进行划分，并作为其分类的“模型”，不具有显式的...
《机器学习实战》笔记——第二章：k-近邻算法（kNN）实战
San Siro
03-25 1345
def classify0(inX, dataSet, labels, k): dataSetSize = dataSet.shape[0]#获取训练样本集的行数，即样本个数 diffMat = tile(inX, (dataSetSize,1)) - dataSet#利用tile()函数将inX向量构造成一个和dataset有相同行数列数的矩阵，并与之相减 sqDiffM...
统计学习方法学习笔记（第三章　k近邻法）
m0_37764496的博客
10-17 199
k近邻法的特殊情况是k=1的情况，称为最近临算法，对于输入的实例点x，最近邻法将训练数据集中与x最邻近点的类作为x的类。 p = 2时，Lp距离称为欧式距离。 p = 1时，称为曼哈顿距离。 p = 无穷时，各个坐标距离的最大值。 k值减小导致过拟合，k太大导致欠拟合。 多数表决规则等价于经验风险最小化。 kd树搜索的平均计算复杂度为O(logN), k近邻法是基本且简单的分类与回归...
《机器学习实战》笔记——第2章 K-近邻算法
clevercaiquebrightme的博客
08-17 497
    数据下载：https://pan.baidu.com/s/1D4vkduD8PVGyPDmx5FRCnw 目录   一、算法概述 1.1 工作原理 1.2 一般流程 1.3 优点 1.4 缺点 二、示例1-构建第一个分类器 2.1 创建数据集和标签 2.2 构建第一个分类器 三、示例2-应用KNN算法改进约会网站的配对效果 3.1 准备数据：从文本文件中解析数据...
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
weixin_42046845的博客
01-24 1197
《统计学习方法：李航》笔记 从原理到实现（基于python）-- 第3章 k邻近邻法
【java毕业设计】美容院管理系统源码（ssm+mysql+说明文档+LW）.zip
11-17
功能说明： (a) 管理员；进入系统可以实现主页、个人中心、用户管理、医生管理、美容师管理、项目部门管理、项目类型管理、产品分类管理、产品信息管理、医美项目管理、美容项目管理、预约美容管理、预约医美管理、系统管理等功能。 (b) 用户；进入系统可以实现主页、个人中心、 预约美容管理、预约医美管理等功能。 (c) 医生；进入系统可以实现主页、个人中心、医美项目管理、预约医美管理等功能。 (d) 美容师；进入系统可以实现主页、个人中心、美容项目管理、预约美容管理等功能。 环境说明： 开发语言：Java 框架：ssm，mybatis JDK版本：JDK1.8 数据库：mysql 5.7及以上 数据库工具：Navicat11及以上 开发软件：eclipse/idea Maven包：Maven3.3及以上 服务器：tomcat7及以上
pgmagick-0.7.5-cp27-cp27m-win32.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
param-1.12.2-py2.py3-none-any.whl.rar
11-17
PartSegCore_compiled_backend-0.12.0a0-cp36-cp36m-win_amd64.whl.rar
中国劳动统计年鉴面板数据（2000-2020年）-就业、工资、消费等.zip
最新发布
11-17
中国劳动统计年鉴面板数据（2000-2020年）-就业、工资、消费等.zip
springboot135林业产品推荐系统.zip
11-17
论文描述：该论文研究了某一特定领域的问题，并提出了新的解决方案。论文首先对问题进行了详细的分析和理解，并对已有的研究成果进行了综述。然后，论文提出了一种全新的解决方案，包括算法、模型或方法。在整个研究过程中，论文使用了合适的实验设计和数据集，并进行了充分的实验验证。最后，论文对解决方案的性能进行了全面的评估和分析，并提出了进一步的研究方向。 源码内容描述：该源码实现了论文中提出的新的解决方案。源码中包含了算法、模型或方法的具体实现代码，以及相关的数据预处理、实验设计和性能评估代码。源码中还包括了合适的注释和文档，以方便其他研究者理解和使用。源码的实现应该具有可读性、可维护性和高效性，并能够复现论文中的实验结果。此外，源码还应该尽可能具有通用性，以便在其他类似问题上进行进一步的应用和扩展。
protobuf-3.9.2-cp35-cp35m-win32.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
planar-0.4-cp36-cp36m-win32.whl.rar
11-17
python whl离线安装包 pip安装失败可以尝试使用whl离线安装包安装 第一步 下载whl文件，注意需要与python版本配套 python版本号、32位64位、arm或amd64均有区别 第二步 使用pip install XXXXX.whl 命令安装，如果whl路径不在cmd窗口当前目录下，需要带上路径 WHL文件是以Wheel格式保存的Python安装包， Wheel是Python发行版的标准内置包格式。 在本质上是一个压缩包，WHL文件中包含了Python安装的py文件和元数据，以及经过编译的pyd文件， 这样就使得它可以在不具备编译环境的条件下，安装适合自己python版本的库文件。 如果要查看WHL文件的内容，可以把.whl后缀名改成.zip，使用解压软件（如WinRAR、WinZIP）解压打开即可查看。 为什么会用到whl文件来安装python库文件呢？ 在python的使用过程中，我们免不了要经常通过pip来安装自己所需要的包， 大部分的包基本都能正常安装，但是总会遇到有那么一些包因为各种各样的问题导致安装不了的。 这时我们就可以通过尝试去Python安装包大全中（whl包下载）下载whl包来安装解决问题。
redis7.4镜像docker包
11-17
redis7.4镜像docker包
施乐四代3375 24c08八角数据
11-17
施乐四代3375 24c08八角数据
OPENCV 常用XML 内涵17个常用XML，包括人脸检测，微笑检测，人眼检测，用于学习模型训练和使用
11-17
OPENCV 常用XML 内涵17个常用XML，包括人脸检测，微笑检测，人眼检测，用于学习模型训练和使用
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值