第三章：K近邻法
直观理解
概念：
K近邻法（k-nearest neighbor，k - N N）是一种基本的分类与回归方法。
主要思想： 假定给定一个训练数据集T(包含N个样本)，其中实例标签已定（每个样本都包含输入和输出），当输入新的实例时（x），可以根据其最近的k个训练实例的标签，预测新实例对应的标注信息(y)。
分类问题：对新的实例，根据与之相邻的k个训练实例的类别，通过多数表决等方式进行预测。（随大溜）
回归问题：对新的实例，根据与之相邻的k个训练实例的标签，通过均值计算进行预测。
K近邻法算法
距离计算公式不固定，
k：与x距离最近的k个点
K：输出空间的K个类别
模型：
k - N N不具有显性的学习过程，实际上利用训练数据集对特征向量空间进行划分，以其作为分类的“模型”。
K近邻法的三要素
距离度量
L p L_{p} Lp距离
特征空间 X \mathcal{X} X 假设为 R n , ∀ x i , x j ∈ X , x i = ( x i ( 1 ) , x i ( 2 ) , ⋯ , x i ( n ) ) T , x j = \mathrm{R}^{n}, \forall x_{i}, x_{j} \in \mathcal{X}, x_{i}=\left(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)}\right)^{T}, x_{j}= Rn,∀xi,xj∈X,xi=(xi(1),xi(2),⋯,xi(n))T,xj= ( x j ( 1 ) , x j ( 2 ) , ⋯ , x j ( n ) ) T \left(x_{j}^{(1)}, x_{j}^{(2)}, \cdots, x_{j}^{(n)}\right)^{T} (xj(1),x
最低0.47元/天 解锁文章
4528
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
