机器学习-P1 使用sklearn中提供的k邻近算法

机器学习-P1

使用sklearn中提供的k邻近算法

1，从sklearn中引入数据

import numpy as np
from sklearn import datasets

iris = datasets.load_iris()
x = iris.data
y = iris.target

输出

x[:5]
>>>array([[5.1, 3.5, 1.4, 0.2],
         [4.9, 3. , 1.4, 0.2],
         [4.7, 3.2, 1.3, 0.2],
         [4.6, 3.1, 1.5, 0.2],
         [5. , 3.6, 1.4, 0.2]])

y[:5]
>>>array([0, 0, 0, 0, 0])

2，将数据分为训练集和测试集

from sklearn.model_selection import train_test_split

# 比例至默认20%
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2) 

3，使用sklearn中的kNN

from sklearn.neighbors import KNeighborsClassifier

# 创建kNN算法（k=6）
kNN_classifier = KNeighborsClassifier(n_neighbors=6)
# 加入训练集构造模型   .fit(样本集，标签集)
kNN_classifier.fit(x_train, y_train)
# 预测    .predict(测试样本)
kNN_classifier.predict(x)
# 计算预测精确度数值
my_knn_clf.score(x_test, y_test)

# 也可以用外部方法计算精确值
from sklearn.metrics import accuracy_score

accuracy_score(y_test, y_predict)

4，网格搜索 - 选择最优的超参数 - k

# 各订参数选取范围
param_grid = [
    {
        "weights":["uniform"],
        "n_neighbors":[i for i in range(1,11)]
    },
    {
        "weights":["distance"],
        "n_neighbors":[i for i in range(1,11)],
        "p":[i for i in range(1,6)]
    }
]

# kNN对象
knn_clf = KNeighborsClassifier()

# 进行网格搜索，找出最佳参数
from sklearn.model_selection import GridSearchCV
# 导入算法与参数范围
# n_jobs: 电脑在搜索时使用的核数
# verbose: 在运行时显示实时数据，int类型，越大越详细
grid_search = GridSearchCV(knn_clf, param_grid, n_jobs=-1, verbose=2)

# 导入训练集
grid_search.fit(x_train, y_train)

# 用计算好的最佳参数进行预测
knn_clf = grid_search.best_estimator_
knn_clf.predict(x_test)

5，均值方差归一化

当出现数据因为单位不同或数据类型不同，使得某个属性对结果产生影响过大时，需要使用归一化

from sklearn.preprocessing import StandardScaler

std = StandardScaler()

# 导入用来计算方差和均值的数据
std.fit(x_train)

# 均值
std.mean_
# 方差
std.scale_
# 进行数据归一
std_x_train = std.transform(x_train)

！！！记得测试集也要进行归一化