knn mllib spark_使用Spark MLlib实现车辆满意度测评

使用KNN分类算法进行车辆满意度测评，选用经典的Car Evaluation数据集，通过对六个特征值进行测评，得到用户对车辆的满意程度。

KNN Classification(K最近邻分类)算法用于产生二分类或多分类模型。基本思想是，如果一个样本在特征空间k个最邻近样本中，大多数属于某一个类别，则该样本也属于这个类别。该算法对噪声具有较好的鲁棒性，并且可以较好的避免样本数量不平衡的问题。其中k是用户指定的整数值，该参数的选取高度依赖输入数据，通常较大的k会抑制噪声的影响，但同时也会使得分类边界变得模糊。该算法适合数据记录数小于100万，维度小于100维的分类场景。在二分类问题中，选取k为奇数有助于避免两个分类平票的情形。

本示例介绍如何使用Spark MLlib引擎的KNN分类算法实现车辆满意度测评应用。车辆满意度测评样例的操作流程如下所示。

准备数据

ModelArts提供了用于训练的数据集和示例代码，执行如下步骤，下载数据集和示例代码，并上传至OBS中。

在gitee的ModelArts-Lab工程中，单击“克隆/下载”，然后单击“下载ZIP”，下载工程。

下载完成后，解压缩“ModelArts-Lab-master.zip”文件，然后在“\ModelArts-Lab-master\official_examples\Using_Spark_MLlib_to_Create_a_Car_Evaluation_Application”目录中获取到训练数据集和示例代码。

表1文件说明文件名称

说明

“car.csv”

训练数据集。数据集的详情如表2所示。

“car_meta.desc”

元数据文件。