机器学习----kNN算法

一、KNN算法思路

最近邻居法（KNN算法，又译K-近邻算法）是一种用于分类和回归的非参数统计方法。
       例如：根据肿瘤大小和时间两个特征对肿瘤的良性和恶性的预测。其中绿色为良性，红色为恶性，现在要预测蓝色这一数据是良性还是恶性，那么对于kNN算法是怎么预测的呢？
       大概思路：首先取一个k值（要点一：K值的取法），之后取离索要预测的点最近的k个数据（要点二：数据距离的计算），选取k个数据中所属最多的一类作为所预测的值。（要点三：如何分类）
       以上是一种简单的思路，对于不同的要点中，所选择的算法不同，则预测的准确度也不相同。下面进行详细的分析。

要点一：k的选取

       如何设置k使得效果最好？这里涉及到两个概念超参数和模型参数。k就是一个超参数。

• 超参数：超参数是在开始学习过程之前设置值的参数。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
• 模型参数：通过训练得到的参数数据。

       对于我们来讲，要找一个好的参数，