K近邻法（KNN）是一种基础的机器学习算法，用于分类和回归。该方法基于新实例与其最近的k个训练实例的距离，通过多数表决（分类）或均值计算（回归）来预测新实例的标签。k值的选择影响模型性能，过大可能导致欠拟合，过小则可能过拟合。KNN还有加权距离和固定半径等变种，适用于不均匀分布的数据。scikit-learn库提供了KFold和cross_val_score()进行模型评估。
机器学习笔记1：KNN算法
K近邻法（k-nearest neighbor) 是一种基本的分类与回归法
主要思想：假定给定一个训练数据集，其中实例标签已定（即输入输出都明确），当输入新的实例时，可以根据其最近的k个训练实例的标签，预测新的实例对应的标注信息。
- 分类问题：对新的实例，根据与之相邻的k个训练实例的类别，通过多数表决等方式进行预测
from sklearn.neighbors import KNeighborsClassifier
# 模型训练
k = 5
clf = KNeighborsClassifier(n_neighbors = k)
clf.fit(X, y)
"""
KNeighborsClassifier(algorithm='auto', leaf_size=30, metric='minkowski',
metric_params=None, n_jobs=None, n_neighbors=5, p=2,
weights='uniform')
"""
# 进行预测
X_sample = np.array([[0, 2]])
y_sample = clf.predict(X_sample)
neighbors = clf.kneighbors(X_sample, return_d
最低0.47元/天 解锁文章
扫一扫
1219
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
