波士顿房产数据展示
多变量线性回归公式推导以及代码实现
多元线性回归也可以使用最小二乘法对α 和 β 进行估计。预测模型为:
对求导得到
当为满秩矩阵或正定矩阵时,可以变换为
其中是矩阵
的逆矩阵,最终学得的多元线性回归模型为:
这里默认为满秩矩阵,如果
非满秩矩阵,可以使用梯度下降进行学习,实际场景中更多使用梯度下降算法,因为矩阵求逆以及矩阵运算的计算量相当大。
数据标准化
这里实现的是线性回归所使用的标准化,除以L2范数,z-score除以的是标准差。
代码实现如下:
x_mean = np.mean(x, axis=0)
L2_norm = np.linalg.norm(x, ord=2)
x_normal = (x - x_mean) / L2_norm
结果截图
自己实现的预测结果为:
调用sklearn预测结果为:
真实数据结果以及使用均方误差评估结果为:
可以看出自己实现和源码出来的结果差别不大。
网格搜索GridSearchCV
GridSearchCV用于系统地遍历多种参数组合,通过交叉验证确定最佳效果参数。
常用参数解读:
estimator:所使用的分类器,如estimator=RandomForestClassifier(min_samples_split=100,min_samples_leaf=20,max_depth=8,max_features=‘sqrt’,random_state=10), 并且传入除需要确定最佳的参数之外的其他参数。每一个分类器都需要一个scoring参数,或者score方法。
param_grid:值为字典或者列表,即需要最优化的参数的取值,param_grid =param_test1,param_test1 = {‘n_estimators’:range(10,71,10)}。
scoring :准确度评价标准,默认None,这时需要使用score函数;或者如scoring=’roc_auc’,根据所选模型不同,评价准则不同。字符串(函数名),或是可调用对象,需要其函数签名形如:scorer(estimator, X, y);如果是None,则使用estimator的误差估计函数。
cv :交叉验证参数,默认None,使用三折交叉验证。指定fold数量,默认为3,也可以是yield训练/测试数据的生成器。
refit :默认为True,程序将会以交叉验证训练集得到的最佳参数,重新对所有可用的训练集与开发集进行,作为最终用于性能评估的最佳模型参数。即在搜索参数结束后,用最佳参数结果再次fit一遍全部数据集。
iid:默认True,为True时,默认为各个样本fold概率分布一致,误差估计为所有样本之和,而非各个fold的平均。
verbose:日志冗长度,int:冗长度,0:不输出训练过程,1:偶尔输出,>1:对每个子模型都输出。
n_jobs: 并行数,int:个数,-1:跟CPU核数一致, 1:默认值。
pre_dispatch:指定总共分发的并行任务数。当n_jobs大于1时,数据将在每个运行点进行复制,这可能导致OOM,而设置pre_dispatch参数,则可以预先划分总共的job数量,使数据最多被复制pre_dispatch次
代码如下:
# -*- coding:utf-8 -*-
# 调用网格搜索和决策树
from sklearn import datasets
from sklearn.model_selection import GridSearchCV, train_test_split
from sklearn.tree import DecisionTreeClassifier
# 选择两个超参数 树的深度max_depth和叶子的最小值min_samples_leaf
parameters = {'max_depth': [3, 5, 7, 9],
'min_samples_leaf': [1, 2, 3, 4]}
X, Y = datasets.load_iris(return_X_y=True)
# 将数据进行拆分
x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
# 进行网格搜索得到最优参数组合
clf = GridSearchCV(DecisionTreeClassifier(), parameters, cv=3, scoring='accuracy')
# 通过有最优参数组合的最优模型进行训练
clf.fit(x_train, y_train)
print('最优参数:', clf.best_params_)
print('验证集最高得分:', clf.best_score_)
# 获取最优模型
best_model = clf.best_estimator_
print('测试集上准确率:', best_model.score(x_test, y_test))
结果截图: