机器学习Knn算法的理解与预测年收入阶段的项目Python代码实现。

最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。

     KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

接下来对KNN算法的思想总结一下：就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：

1）计算测试数据与各个训练数据之间的距离；

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）确定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

根据年龄，教育程度，职业，工作时间预测工资。

from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
import numpy as np
from pandas import DataFrame
from sklearn.externals import joblib
#读取文件
year_data = pd.read_csv('adult.csv')
test_data = pd.read_csv('test.csv')
#取出文件中所需要的数据
shuju = year_data[['age','education','zhiye','sex','worktime']]
shuju_test = test_data[['age','education','zhiye','sex','worktime']]
#取出所有的教育程度
edu = shuju.education.unique()
#取出所有的性别
se = shuju.sex.unique()
#取出所有的职业
zhi = shuju.zhiye.unique()
#取出预测数据中所有的教育程度
edu_test = shuju_test.education.unique()
#取出所有预测数据中所有的性别
se_test = shuju_test.sex.unique()
#取出所有预测数据中所有的职业
zhi_test = shuju_test.zhiye.unique()

#创建函数，使不同的职业去对应各自的索引
def eduint(item):
    index = np.argwhere(edu == item)[0,0]
    return index
def sexint(item):
    index = np.argwhere(se == item)[0,0]
    return index
def zhiyeint(item):
    index = np.argwhere(zhi == item)[0,0]
    return index
def eduint_test(item):
    index = np.argwhere(edu_test == item)[0,0]
    return index
def sexint_test(item):
    index = np.argwhere(se_test == item)[0,0]
    return index
def zhiyeint_test(item):
    index = np.argwhere(zhi_test == item)[0,0]
    return index
#使用map高级函数，将数据中的Sring转换为数字
shuju['education'] = shuju['education'].map(eduint)
shuju['zhiye'] = shuju['zhiye'].map(zhiyeint)
shuju['sex'] = shuju['sex'].map(sexint)
#取出训练数据
X_train = shuju
Y_train = year_data[['xinzi']]
#调用Knn函数
Knn = KNeighborsClassifier(10)
#训练数据
Knn.fit(X_train,Y_train)
shuju_test['education'] = shuju_test['education'].map(eduint_test)
shuju_test['zhiye'] = shuju_test['zhiye'].map(zhiyeint_test)
shuju_test['sex'] = shuju_test['sex'].map(sexint_test)
#取出预测数据
X_test = shuju_test
Y_test = test_data['xinzi']
#对数据进行预测
y_ = Knn.predict(X_test)
num = np.random.randint(0,3000)
print("预测数据:",y_[num])
print("真实数据:",Y_test[num])
#查看预测结果与实际结果的相似程度
Knn.score(X_test,Y_test)
#将预测的结果保存在文件中
joblib.dump(Knn,'year_receive.m')
#加载文件
receive = joblib.load('year_receive.m')
receive.score(X_test,Y_test)