算法总结1：K-邻近算法

1. 算法原理：

       K-邻近算法的原理很简单，就是用你的“邻居”来推断出你的类别。用于离散型数据分析处理。

       例子1：如下图有ABCD四个用于参考的样本点，都已知晓自己的坐标位置，这时E来了，不清楚自己的位置，就分别计算出于ABCD个点的距离，发现和A最近，就认为与A的位置相同（既“类别“”相同）。

       例子2：看到好多教程用过的一个例子，如下图所示。根据样本出现的不同类别的镜头数量判断未知电影的属于什么类别，也是算出与各个样本的距离，然后做出判别。

     专业定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
     来源：KNN算法最早是由Cover和Hart提出的一种分类算法

 2. 距离计算，K值说明

     根据原理和定义，有两个陌生的词。

（1）距离计算公式

两个样本的距离可以通过如下公式计算，又叫欧式距离。相似的样本，特征之间的值应该都是相近的。
比如说，a(a1,a2,a3),b(b1,b2,b3)

（2）K的取值

所谓K值就是设置一个比较上限，就比如上面的例子2中，总共6个样本，如果K=1，即只参考距离最小的那个样本，这个样本为爱情片就预测成爱情片，如果K=3，就参考距离最低的三个值，发现100%都是爱情片，如果K=5，则发现爱情片占比60%，如果K=6，各占比50%，没法给结果了。所以K值不一定如例子1一样只为1，也可设成其他数用于给最终结果投票。

注：

如果K值取很小则容易受异常点影响，如果K值取很大则容易受样本k值数量（类别）波动。所以就有调参的过程了，选取一个合适的k值。

3. K-邻近算法的数据要求

      需要进行标准化，若不标准，数值大的特征将决定性的影响最终结果，标准化后，各个特征的权重比例均衡了。

4. K-邻近算法的优缺点

优点：简单，易于实现，无需估计参数，无需训练，结果固定，无迭代过程。

缺点：因为每次都要跟所有样本进行计算，计算量大，内存消耗大，且必须指定K值，K值选定不当则分类精度不能保证。

使用场景：小数据场景，因为缺点较多，大部分时候都不用。

5. 实例训练

# coding=utf-8
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
import pandas as pd

def knncls():
    """
    K-邻近预测用户签到位置
    :return: None
    """
    # 读取数据 数据来源：https://www.kaggle.com/c/facebook-v-predicting-check-ins/data
    data = pd.read_csv("./train.csv")
    # print(data.head(10))
    # 处理数据
    # 1、缩小数据，查询数据筛选
    data = data.query("x > 1.0 & x < 1.25 & y > 2.5 & y > 7.5")
    # 2、处理时间
    time_value = pd.to_datetime(data["time"], unit="s")
    # print(time_value)
    # 构造特征
    time_value = pd.DatetimeIndex(time_value)
    data["day"] = time_value.day
    data["hour"] = time_value.hour
    data["weekday"] = time_value.weekday
    # 把时间戳特征删除
    data = data.drop(['time'], axis=1)
    # print(data)
    # 把签到数量少于n个目标位置删除
    place_count = data.groupby('place_id').count()
    # print(place_count)
    tf = place_count[place_count.row_id > 3].reset_index()
    # print(tf)
    data = data[data['place_id'].isin(tf.place_id)]
    data = data.drop(['row_id'], axis=1)
    # print(data)
    # 取出数据当中的特征值和目标值
    y = data['place_id']
    x = data.drop(['place_id'], axis=1)
    # 进行数据的分割训练集和测试集
    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)
    # 特征工程（标准化）
    std = StandardScaler()
    # 对测试集和训练集的特征值标准化
    x_train = std.fit_transform(x_train)
    x_test = std.transform(x_test)
    # 进行算法流程
    knn = KNeighborsClassifier(n_neighbors=5)
    knn.fit(x_train, y_train)
    # 得出预测结果
    y_predict = knn.predict(x_test)
    print("预测的目标签到位置为：", y_predict)
    print("预测的准确率：", knn.score(x_test, y_test))


if __name__ == '__main__':
    knncls()

 

 

 以上内容仅供相互学习，是作者根据学习教程做的笔记。

 

转载于:https://www.cnblogs.com/UFO-blogs/p/9450091.html