机器学习--k近邻算法探索及糖尿病预测

算法原理：未标记样本类别由距离其最近的k个邻居投票决定。计算待标记的样本和数据集中每个样本的距离，取距离最近的k个样本，待标记样本所属类别由这k个距离最近的样本投票产生。

• 优点：KNN原理简单，容易实现，结果精度高，无需估计参数，无需训练模型，可用于分类（投票）和回归（平均值），对异常值和噪声有较高的容忍度；
• 不足：当样本容量不平衡时，可能导致需预测的样本中大容量类的样本占多数；可解释性差；计算量大，对内存需求较大，每次对未标记样本分类时都需全部计算。

算法参数：k

• k值越大，模型偏差越大，对噪声数据越不敏感，k值很大时可能造成模型欠拟合；
• k值越小，模型方差越大，k值太小时造成过拟合。

              weight权重：默认计算距离时都使用相同权重，“uniform”，但实际上，可以针对不同邻居指定不同距离权重，距离越近，权重越高，“distance”.

a. 用k近邻算法进行分类

sklearn.neighbors.KNeighborsClassifer

%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np

# 使用sklearn.datasets.samples_generator中的make_blobs()函数来生成数据集
from sklearn.datasets.samples_generator import make_blobs

# 生成60个训练样本，这些样本以centers参数指定中心的周围
# cluster_std为标准差，用来指定点分布的松散程度
centers = [[-2,2],[2,2],[0,4]]
# X为以center为中心的60个样本shape(60，2),y为中心值类别，根据centers不同分为[0,1,2]
X,y = make_blobs(n_samples=60,centers=centers,random_state=0,cluster_std=0.6)

# 将数据集用图表展现
plt.figure(figsize=(8,5),dpi=144)
c = np.array(centers)
plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap='cool') #画出样本
plt.scatter(c[:,0],c[:,1],s=50,marker='^',c='orange') # 画出中心点
plt.savefig('knn-1.png')

# 使用KNeighborsClassifier对算法进行训练
from sklearn.neighbors import KNeighborsClassifier
k=5
clf=KNeighborsClassifier(n_neighbors=k)
# 训练
clf.fit(X,y)
# 对新样本预测
X_sample=[[0,2]]
y_sample=clf.predict(X_sample)
# clf.neighbors把样本周围5个最近的点取出来，取出来的点是训练集X里面的索引
neighbors = clf.kneighbors(X_sample,return_distance=False)

# 把新样本与最近的5个点标记出来
plt.figure(figsize=(8,5),dpi=144)
plt.scatter(X[:,0],X[:,1],c=y,s=50,cmap='cool') #训练样本
plt.scatter(c[:,0],c[:,1],c='orange',marker='^',s=50) #三个中心点
plt.scatter(X_sample[0][0],X_sample[0][1],s=50,marker='x&