K近邻算法
什么是k近邻算法?
定义:如果一个样本在特征空间中的K个最相似(空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别
来源:KUN算法最早是由Cover和Hart提出的一种分类算法
计算距离公式
两个样本的距离可以通过如下公式计算,又叫欧式距离
比如说,a(a1,a2,a3) b(b1,b2,b3)
注意
K近邻算法需要做标准化
API
- sklearn.neighbors.KNeighborsClassfler(n_neighbors=5,algorithm=“auto”)
- n_neighbors:int 可选(默认=5),k_neighbors查询默认使用邻居数
- algorithm:{“auto”,“ball_tree”,“kd_tree”,“brute”},可选用于计算最近邻的算法,“ball_tree”将会使用ball_tree,“kd_tree”将会使用KDTree."auto"将尝试根据传递给fit方法的值来决定最合适算法(不同实现方式影响效率)
近邻算法案例
分类:特征值:x y坐标,定位准确性,时间 目标值:入住位置的id
处理:0<x<10 0<y<10
- 由于数据量最大,节省时间x,y缩小
- 时间戳进行(年月日时分秒)
- 少于指定签到人数的位置删除
代码:
from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
def K_neibors():
"""
K近邻预测签到位置
:return:
"""
# 1.读取数据
data = pd.read("路径/train.csc")
print(data.head(10)) # 打印前十行
# 2.处理数据
# _1.缩小数据,查询数据晒讯
data=data.querry("x>1.0 & x<1.25 & y>2.5 & y<2.75")
# _2.处理时间的数据
time_value=pd.to_datetime(data[time],unit="s")
print(time_value)
# _3.把日期时间格式转换成字典格式
time_value=pd.DatetimeIndex(time_value)
# _4. 构造一些特征
data["day"]=time_value.day
data["hour"]=time_value.hour
data["weekday"]=time_value.weekday
#_5. 把时间戳删除
data=data.drop(["time"],axis=1)# 1表示列
#_6把签到数量少于n个目标位置删除
place_count=data.groupby("place_id").count()
tf=place_count[place_count.row_id>3].reset_index()
data=data[data["place_id"].isin(tf.place_id)]
# 取出数据中的特征值和目标值
y=data["place_id"]
x=data.drop(["place_id"],axis=1)
# 进行数据集的分割训练集和测试集
x_train,x_text,y_train,y_text=train_text_split(x,y,text_size=0.25)
# 3.特征工程(标准化)
std=StandardScaler()
# 要对测试集和测试机特征值进行标准化
x_train=std.fit_transform(x_train)
#进行算法流程
knn=KNeighborsClassifier(n_neighbors=5)
#fit predict,score
x_train=knn.fit(x_train,y_train)
x_text=std.transform(x_text)
#得出预测结果
y_predict=knn.predict(x_text)
print("预测的目标标签位置为:",y_predict)
#得出准确率
print("预测准确率",knn.score(x_text,y_text))
def main():
K_neibors()
if __name__ == '__main__':
main()