分类算法基础KNN

目录

1、sklearn转换器和预估器

2、KNN算法

3、模型选择与调优

4、朴素贝叶斯算法

5、决策树 

6、随机森林

1.1转换器

        fit_transform()

                fit()计算每一列的平均值

                transform()进行最终转换     

 1.2 估计器

       1\ 实例化一个estimator

        2\estimator.fit(x_train,y_train)

        3\模型评估：

                1）直接比对真实值和预测值

                               y_pridict=estimator.predict(x_test)

                2)计算准确率

                        accuracy=estimato.score(x_test,y_test)

           

2KNN算法K近邻

        根据邻居推算出类别，如何计算距离呢

        

 案例1        鸢尾花种类检测

1）获取数据

2)数据集划分

3）特征工程

        标准化

4）KNN预估流程

5）模型评估

from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
def knn_iris():
    iris=load_iris()
        #划分
    x_train,x_test,y_train,y_test= train_test_split(iris.data,iris.target,random_state=6)
        #标准化
    transfer =StandardScaler()   
    x_train=transfer.fit_transform(x_train)
#fit：学习特征或模型参数，不返回数据。
#transform：将数据转换为特征或输入格式，使用已学习的特征。
#fit_transform：先学习特征，再转换数据，常用于训练阶段
    x_test=transfer.transform(x_test) 
   #knn预估 k值取小异常点影响，k取大样本均衡问题
    estimator=KNeighborsClassifier(n_neighbors=3)
    estimator.fit(x_train,y_train)

    y_predict=estimator.predict(x_test)
    print("比对真实值与测试值",y_test==y_predict)
    #计算准确率
    score=estimator.score(x_test,y_test)
    print("准确率为",score)
    return None
knn_iris()

 

 

 交叉验证取平均值

 网格搜索

       

 

模型选择和调优

  #knn预估 k值取小异常点影响，k取大样本均衡问题
    estimator=KNeighborsClassifier()
    #加网格搜索与交叉验证
    param_dict={"n_neighbors":[1,3,5,7,11]}
    estimator=GridSearchCV(estimator,param_grid=param_dict,cv=10)


   print("最佳参数\n",estimator.best_params_)
    print("最佳结果\n",estimator.best_score_)
    print("最佳估计器\n",estimator.best_estimator_)
    print("交叉验证结果\n",estimator.cv_results_)

案例facebook预测签到位置

        

import pandas as pd
#读取数据
data= pd.read_csv(r"F:\WEB\train.csv")
#缩小数据范围
#2<X<2.5 1<Y<1.5
#time 年月日时分秒
#过滤掉签到次数少的地点
data=data.query("x<2.5 & x>2 & y<1.5 & y>1.0")
time_value=pd.to_datetime(data["time"],unit="s")
date=pd.DatetimeIndex(time_value)
date.month
data["day"]=date.day
data["weekday"]=date.weekday
data["hour"]=date.hour
#过滤签到次数少的地点
place_count=data.groupby("place_id").count()["row_id"]
place_count[place_count>3]
data_fina=data[data["place_id"].isin(place_count[place_count>3].index.values)]
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV
#筛选特征值和目标值
x=data_fina[["x","y","accuracy","day","weekday","hour"]]
y=data_fina[["place_id"]]
#数据集划分
from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test=train_test_split(x,y)
      #标准化
  #knn预估 k值取小异常点影响，k取大样本均衡问题
estimator=KNeighborsClassifier()
    #加网格搜索与交叉验证
param_dict={"n_neighbors":[3,5,7]}
estimator=GridSearchCV(estimator,param_grid=param_dict,cv=10)
estimator.fit(x_train,y_train)
#fit：学习特征或模型参数，不返回数据。
#transform：将数据转换为特征或输入格式，使用已学习的特征。
#fit_transform：先学习特征，再转换数据，常用于训练阶段
y_pridict=estimator.predict(x_test)
print("最佳参数\n",estimator.best_params_)
print("最佳结果\n",estimator.best_score_)
print("最佳估计器\n",estimator.best_estimator_)
print("交叉验证结果\n",estimator.cv_results_)