本文详细介绍了k近邻算法，包括算法原理、距离度量、k值选择和分类决策规则。讨论了k值对模型的影响，提出多数表决规则，并引入kd树以优化搜索效率。在kd树的帮助下，k近邻算法的平均计算复杂度降低为O(logN)。
k k k近邻算法学习日志
第三章 k k k近邻算法
k k k近邻算法：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的 k k k个实例，这 k k k个实例的多数属于某个类，就把该输入实例分为这个类。
输入：训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\} T={
(x1,y1),(x2,y2),⋯,(xN,yN)} 其中， x i ∈ X ⊆ R n x_{i} \in \mathcal{X} \subseteq \mathbf{R}^{n} xi∈X⊆Rn 为实例的特征向量， y i ∈ Y = { c 1 , c 2 , ⋯   , c K } y_{i} \in \mathcal{Y}=\left\{c_{1}, c_{2}, \cdots, c_{K}\right\} yi∈Y={
c1,c2,⋯,cK} 为实例的类别， i = 1 , 2 , ⋯   , N i=1,2, \cdots, N i=1,2,⋯,N ； 实例特征向量 x x x
输出：实例 x x x所属的类 y y y
( 1 ) (1) (1) 根据给定的距离度量，在训练集 T T T中找出与 x x x最近邻的 k k k个点，涵盖这 k k k个点的的邻域记作 N k ( x ) N_{k}(x) Nk(x)
( 2 ) (2) (2) 在 N k ( x ) N_{k}(x) Nk(x)中跟分类决策规则(如多数表决)决定 x x x的类别 y y y
y = arg max c j ∑ x i ∈ N k ( x ) I ( y i = c j ) , i = 1 , 2 , ⋯   , N ; j = 1 , 2 , ⋯   , K ( 1 ) y=\arg \max _{c_{j}} \sum_{x_{i} \in N_{k}(x)} I\left(y_{i}=c_{j}\right), \quad i=1,2, \cdots, N ; \quad j=1,2, \cdots, K \quad (1) y=argcjmaxxi∈Nk(x)∑I(yi=cj),i=1,2,⋯,N;j=1,2,⋯,K(1)在式 ( 1 ) (1) (1)中， I I I为指示函数，即当 y i = c j y_{i}=c_{j} yi=cj时为1，否则 I I I为0.
k k k近邻模型
基本三要素：距离度量、 k k
最低0.47元/天 解锁文章
扫一扫
5643
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
