k近邻算法_机器学习分类算法之k近邻算法

本编文章将介绍机器学习入门算法-k近邻算法，将会用demo演示机器学习分类算法。

在先介绍算法时，先回顾分类和回归的区别。像文章分类识别也是这样处理的，如1代表体育，2代表科技，3代表娱乐属于分类问题，需要运用分类算法。预测票房、股票等具体数值，这就是连续型，属于回归问题，需要运用回归算法。额外补充下转化器和估计器这两个在机器学习的重要概念。

转化器与估计器

转化器

转化器示意图

从代码层面来说就是继承了Transformer这个类就是转化器。

实例演示

api 介绍fit_transform():输入数据直接转换fit(): 输入数据，计算平均值，方差等等，但是对数据不做事transform(): 进行数据的转换

fit_transform()执行的是两个步骤，fit和transform，fit指定转化的标准，transform跟fit的制定的标准执行转化。如 out【3】和out【6】的执行结果是一致的，但是与out【8】是不一致的，因为它的fit的标准变了。

类图关系

StandardScaler继承了TransformerMixin，被实例化出来的被称作转化器。

---

估计器

sklearn机器学习算法的实现-估计器

在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API

1、用于分类的估计器：•sklearn.neighborsk-近邻算法•sklearn.naive_bayes      贝叶斯•sklearn.linear_model.LogisticRegression     逻辑回归2、用于回归的估计器：•sklearn.linear_model.LinearRegression     线性回归•sklearn.linear_model.Ridge      岭回归 

估计器的使用过程

分类算法-k近邻算法

概念

算法概念示例图

图中有一个人不知道自己所属于什么区，但是他知道其他人在什么位置以及距离。距离自己最近的人所在区来表示自己的所在的区。这就是k近邻算法的核心思想。

定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。来源：KNN算法最早是由Cover和Hart提出的一种分类算法。

概念案例示意图

这里的特征是打斗镜头和接吻镜头，目标值是爱情片还是动作片。那么用k近邻算法就是求出它的”与未知电影的距离”。

两个样本的距离可以通过如下公式计算，又叫欧式距离。

算法公式

但是它的特征如果很大，则会影响数据准确性。所以它需要标准化。

---

k-近邻算法API

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

n_neighbors：int,可选(默认= 5)，k_neighbors查询默认使用的邻居数

algorithm：{‘auto’，‘ball_tree’，‘kd_tree’，‘brute’}，可选用于计算最近邻居的算法：‘ball_tree’将会使用 BallTree，‘kd_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。 (不同实现方式影响效率)

---

实例

原题题目网址：https://www.kaggle.com/c/facebook-v-predicting-check-ins

根据提供信息预测用户入驻位置

问题描述

实例数据 https://pan.baidu.com/s/1BGKkCagNT8q81M-xgyW64w

密码 b2n4

数据描述

from sklearn.datasets import load_iris, fetch_20newsgroups, load_bostonfrom sklearn.model_selection import train_test_split, GridSearchCVfrom sklearn.neighbors import KNeighborsClassifierfrom sklearn.preprocessing import StandardScalerfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import classification_reportfrom sklearn.feature_extraction import DictVectorizerfrom sklearn.tree import DecisionTreeClassifier, export_graphvizfrom sklearn.ensemble import RandomForestClassifierimport pandas as pddef knncls():    """    K-近邻预测用户签到位置    :return:None    """    # 读取数据    data = pd.read_csv("./data/FBlocation/train.csv")    # print(data.head(10))    # 处理数据    # 1、缩小数据,查询数据晒讯    data = data.query ("x > 2.0 & x < 2.25 & y > 2.5 & y < 2.75")    # 处理时间的数据    time_value = pd.to_datetime(data['time'], unit='s')    print(time_value)    # 把日期格式转换成 字典格式    time_value = pd.DatetimeIndex(time_value)    # 构造一些特征    data['day'] = time_value.day    data['hour'] = time_value.hour    data['weekday'] = time_value.weekday    # 把时间戳特征删除    data = data.drop(['time'], axis=1)    # 把签到数量少于n个目标位置删除    place_count = data.groupby('place_id').count()    tf = place_count[place_count.row_id > 3].reset_index()    data = data[data['place_id'].isin(tf.place_id)]    # 取出数据当中的特征值和目标值    y = data['place_id']    x = data.drop(['place_id'], axis=1)    # 进行数据的分割训练集合测试集    x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)    # 特征工程(标准化)    std = StandardScaler()    # 对测试集和训练集的特征值进行标准化    x_train = std.fit_transform(x_train)    x_test = std.transform(x_test)    # 进行算法流程 # 超参数    knn = KNeighborsClassifier(n_neighbors=5)    # fit， predict,score    knn.fit(x_train, y_train)    # 得出预测结果    y_predict = knn.predict(x_test)    print("预测的目标签到位置为：", y_predict)    # 得出准确率    print("预测的准确率:", knn.score(x_test, y_test))

提高准确率

没有变标准化 准确率为0.02

标准化之后 准确率为0.32

去除无用的rowid 准确率为0.40

调整n_neighbors=6 准确率为0.39

实例流程：

1、数据集的处理

2、分割数据集

3、对数据集进行标准化

4、estimator流程进行分类预测

---

注意点

1.k值取多大？有什么影响？

k值取很小：容易受异常点影响；k值取很大：容易受最近数据太多导致比例变化。

2.性能问题

每个样本进行预测都要与所有样本计算欧式距离，导致它的性能非常低下。在我们选择算法的时候，通常要考虑准确率高和不影响机器性能的算法。所以这个算法在实际较少用到。

3.优点

简单，易于理解，易于实现，无需估计参数，无需训练。估计参数不是KNeighborsClassifier(n_neighbors=5) 里的n_neighbors的参数，这种的参数叫做超参数，而估计参数是算法里面的参数。无需训练，因为与每个样本的距离的都是固定的，所以无需训练。

4.缺点

懒惰算法，对测试样本分类时的计算量大，内存开销大；必须指定K值，K值选择不当则分类精度不能保证。

后续会持续更新由浅入深机器学习的技术文章，有兴趣的朋友可看我之前的文章，关注我随时了解人工智能