目录
第一关：实现KNN算法：
任务描述：
本关任务：补充 python 代码，完成 kNNClassifier 类中的 fit 函数与 predict 函数。实现 kNN 算法的训练与预测功能。
相关知识：
为了完成本关任务，你需要掌握 kNN 算法的算法流程。
一、KNN算法的算法流程：
kNN 算法其实是众多机器学习算法中最简单的一种，因为该算法的思想完全可以用 8 个字来概括：“近朱者赤，近墨者黑”。
假设现在有这样的一个样本空间，该样本空间里有宅男和文艺青年这两个类别，其中红圈表示宅男，绿圈表示文艺青年。如下图所示：
其实构建出这样的样本空间的过程就是 kNN 算法的训练过程。可想而知 kNN 算法是没有训练过程的，所以 kNN 算法属于懒惰学习算法。
假设我在这个样本空间中用黄圈表示，如下图所示：
现在使用 kNN 算法来鉴别一下我是宅男还是文艺青年。首先需要计算我与样本空间中所有样本的距离。假设计算得到的距离表格如下：
| 样本编号 | 1 | 2 | ... | 13 | 14 |
|---|---|---|---|---|---|
| 标签 | 宅男 | 宅男 | ... | 文艺青年 | 文艺青年 |
| 距离 | 11.2 | 9.5 | ... | 23.3 | 37.6 |
然后找出与我距离最小的 k 个样本(k 是一个超参数，需要自己设置，一般默认为 5)，假设与我离得最近的 5 个样本的标签和距离如下：
| 样本编号 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|
| 标签 | 宅男 | 宅男 | 宅男 | 宅男 | 文艺青年 |
| 距离 | 11.2 | 9.5 | 7.7 | 5.8 | 15.2 |
最后只需要对这 5 个样本的标签进行统计，并将票数最多的标签作为预测结果即可。如上表中，宅男是 4 票，文艺青年是 1 票，所以我是宅男。
注意：有的时候可能会有票数一致的情况，比如 k=4 时与我离得最近的样本如下：
| 样本编号 | 4 | 9 | 11 | 13 |
|---|---|---|---|---|
| 标签 | 宅男 | 宅男 | 文艺青年 | 文艺青年 |
| 距离 | 4.2 | 9.5 | 7.7 | 5.8 |
可以看出宅男和文艺青年的比分是 2:2，那么可以尝试将属于宅男的 2 个样本与我的总距离和属于文艺青年的 2 个样本与我的总距离进行比较。然后选择总距离最小的标签作为预测结果。在这个例子中预测结果为文艺青年(宅男的总距离为 4.2+9.5，文艺青年的总距离为 7.7+5.8)。
二、KNN算法的优缺点：
从算法流程中可以看出，kNN 算法的优点有：
- 原理简单，实现简单；
- 天生支持多分类，不像其他二分类算法在进行多分类时要使用 OvO、 OvR 的策略。
缺点也很明显：
- 当数据量比较大或者数据的特征比较多时，预测过程的时间效率太低。
编程要求：
根据提示，在右侧编辑器的 begin-end 区域补充代码，完成 kNNClassifier 类中的 fit 函数与 predict 函数。
fit 函数用于 kNN 算法的训练过程，其中：
-
feature ：训练集数据，类型为 ndarray；
-
label ：训练集标签，类型为 ndarray。
predict 函数用于实现 kNN 算法的预测过程，函数返回预测的标签，其中：
-
feature ：测试集数据，类型为 ndarray。（PS：feature中有多条数据）
测试说明：
只需完成 fit 与 predict 函数即可，程序内部会调用您所完成的 fit 函数构建模型并调用 predict 函数来对数据进行预测。预测的准确率高于 0.9 视为过关。
#encoding=utf8
import numpy as np
class kNNClassifier(object):
def __init__(self, k):
'''
初始化函数
:param k:kNN算法中的k
'''
self.k = k
# 用来存放训练数据，类型为ndarray
self.train_feature = None
# 用来存放训练标签，类型为ndarray
self.train_label = None
def fit(self, feature, label):
'''
kNN算法的训练过程
:param feature: 训练集数据，类型为ndarray
:param label: 训练集标签，类型为ndarray
:return: 无返回
'''
#********* Begin *********#
self.train_feature = np.array(feature)
self.train_label = np.array(label)
#********* End *********#
def predict(self, feature):
'''
kNN算法的预测过程
:param feature: 测试集数据，类型为ndarray
:return: 预测结果，类型为ndarray或list
'''
#********* Begin *********#
def _predict(test_data):
distances = [np.sqrt(np.sum((test_data - vec) ** 2)) for vec in self.train_feature]
nearest = np.argsort(distances)
topK = [self.train_label[i] for i in nearest[:self.k]]
votes = {}
result = None
max_count = 0
for label in topK:
if label in votes.keys():
votes[label] += 1
if votes[label] > max_count:
max_count = votes[label]
result = label
else:
votes[label] = 1
if votes[label] > max_count:
max_count = votes[label]
result = label
return result
predict_result = [_predict(test_data) for test_data in feature]
return predict_result
#********* End *********#第二关：红酒分类：
任务描述：
本关任务： sklearn 中的 KNeighborsClassifier 类实现了 kNN 算法的分类功能，本关你需要使用 sklearn 中 KNeighborsClassifier 来对红酒数据进行分类。
相关知识：
为了完成本关任务，你需要掌握：
- StandarScaler 的使用；
- KNeighborsClassifier 的使用。
一、数据集介绍：
数据集为一份红酒数据，总共有 178 个样本，每个样本有 13 个特征，这里不会为你提供红酒的标签，你需要自己根据这 13 个特征对红酒进行分类。部分数据如下图：
二、StandardScaler的使用：
由于数据中有些特征的标准差比较大，例如 Proline 的标准差大约为 314。如果现在用 kNN 算法来对这样的数据进行分类的话， kNN 算法会认为最后一个特征比较重要。因为假设有两个样本的最后一个特征值分别为 1 和 100，那么这两个样本之间的距离可能就被这最后一个特征决定了。这样就很有可能会影响 kNN 算法的准确度。为了解决这种问题，我们可以对数据进行标准化。
标准化的手段有很多，而最为常用的就是 Z Score 标准化。Z Score 标准化通过删除平均值和缩放到单位方差来标准化特征，并将标准化的结果的均值变成 0 ，标准差为 1。
sklearn 中已经提供了 Z Score 标准化的接口 StandardScaler，使用代码如下:
from sklearn.preprocessing import StandardScaler
data = [[0, 0], [0, 0], [1, 1], [1, 1]]
# 实例化StandardScaler对象
scaler = StandardScaler()
# 用data的均值和标准差来进行标准化，并将结果保存到after_scaler
after_scaler = scaler.fit_transform(data)
# 用刚刚的StandardScaler对象来进行归一化
after_scaler2 = scaler.transform([[2, 2]])
print(after_scaler)
print(after_scaler2)打印结果如下：
[[-1. -1.][-1. -1.][ 1. 1.][ 1. 1.]][[3. 3.]]
根据打印结果可以看出，经过准换后，数据已经缩放成了均值为 0，标准差为1的分布。
三、KNeighborsClassifier的使用：
想要使用 sklearn 中使用 kNN 算法进行分类，只需要如下的代码(其中 train_feature、train_label 和 test_feature 分别表示训练集数据、训练集标签和测试集数据)：
from sklearn.neighbors import KNeighborsClassifier
#生成K近邻分类器
clf=KNeighborsClassifier()
#训练分类器
clf.fit(train_feature, train_label)
#进行预测
predict_result=clf.predict(test_feature)但是当我们需要调整 kNN 算法的参数时，上面的代码就不能满足我的需求了。这里需要做的改变在clf=KNeighborsClassifier()这一行中。
KNeighborsClassifier() 的构造函数包含一些参数的设定。比较常用的参数有以下几个:
- n_neighbors ：即 kNN 算法中的 K 值，为一整数，默认为 5；
- metric ：距离函数。参数可以为字符串（预设好的距离函数）或者是callable对象。默认值为闵可夫斯基距离；
- p ：当 metric 为闵可夫斯基距离公式时可用，为一整数，默认值为 2，也就是欧式距离。
编程要求：
根据提示，在右侧编辑器的 begin-end 间补充代码，完成 classification 函数。函数需要完成的功能是使用 KNeighborsClassifier 对 test_feature 进行分类。其中函数的参数如下：
-
train_feature : 训练集数据，类型为 ndarray；
-
train_label : 训练集标签，类型为 ndarray；
-
test_feature : 测试集数据，类型为 ndarray。
测试说明：
平台会对你返回的预测结果来计算准确率，你只需完成 classification 函数即可。准确率高于 0.9 视为过关。
from sklearn.neighbors import KNeighborsClassifier
from sklearn.preprocessing import StandardScaler
def classification(train_feature, train_label, test_feature):
'''
对test_feature进行红酒分类
:param train_feature: 训练集数据，类型为ndarray
:param train_label: 训练集标签，类型为ndarray
:param test_feature: 测试集数据，类型为ndarray
:return: 测试集数据的分类结果
'''
#********* Begin *********#
scaler=StandardScaler()
train_feature=scaler.fit_transform(train_feature)
test_feature=scaler.transform(test_feature)
clf=KNeighborsClassifier()
clf.fit(train_feature,train_label)
return clf.predict(test_feature)
#********* End **********#
扫一扫
419
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
