算法梳理进阶线性回归(四)

波士顿房产数据展示

多变量线性回归公式推导以及代码实现

多元线性回归也可以使用最小二乘法对α 和 β 进行估计。预测模型为：

对求导得到

当为满秩矩阵或正定矩阵时，可以变换为

其中是矩阵的逆矩阵，最终学得的多元线性回归模型为：

这里默认为满秩矩阵，如果非满秩矩阵，可以使用梯度下降进行学习，实际场景中更多使用梯度下降算法，因为矩阵求逆以及矩阵运算的计算量相当大。

数据标准化

这里实现的是线性回归所使用的标准化，除以L2范数，z-score除以的是标准差。
代码实现如下：

    x_mean = np.mean(x, axis=0)
    L2_norm = np.linalg.norm(x, ord=2)
    x_normal = (x - x_mean) / L2_norm

结果截图

自己实现的预测结果为：

调用sklearn预测结果为：

真实数据结果以及使用均方误差评估结果为：

可以看出自己实现和源码出来的结果差别不大。

网格搜索GridSearchCV

GridSearchCV用于系统地遍历多种参数组合，通过交叉验证确定最佳效果参数。

常用参数解读：
estimator：所使用的分类器，如estimator=RandomForestClassifier(min_samples_split=100,min_samples_leaf=20,max_depth=8,max_features=‘sqrt’,random_state=10), 并且传入除需要确定最佳的参数之外的其他参数。每一个分类器都需要一个scoring参数，或者score方法。

param_grid：值为字典或者列表，即需要最优化的参数的取值，param_grid =param_test1，param_test1 = {‘n_estimators’:range(10,71,10)}。

scoring :准确度评价标准，默认None,这时需要使用score函数；或者如scoring=’roc_auc’，根据所选模型不同，评价准则不同。字符串（函数名），或是可调用对象，需要其函数签名形如：scorer(estimator, X, y)；如果是None，则使用estimator的误差估计函数。

cv :交叉验证参数，默认None，使用三折交叉验证。指定fold数量，默认为3，也可以是yield训练/测试数据的生成器。

refit :默认为True,程序将会以交叉验证训练集得到的最佳参数，重新对所有可用的训练集与开发集进行，作为最终用于性能评估的最佳模型参数。即在搜索参数结束后，用最佳参数结果再次fit一遍全部数据集。

iid:默认True,为True时，默认为各个样本fold概率分布一致，误差估计为所有样本之和，而非各个fold的平均。

verbose：日志冗长度，int：冗长度，0：不输出训练过程，1：偶尔输出，>1：对每个子模型都输出。

n_jobs: 并行数，int：个数,-1：跟CPU核数一致, 1:默认值。

pre_dispatch：指定总共分发的并行任务数。当n_jobs大于1时，数据将在每个运行点进行复制，这可能导致OOM，而设置pre_dispatch参数，则可以预先划分总共的job数量，使数据最多被复制pre_dispatch次

代码如下：

	# -*- coding:utf-8 -*-
	# 调用网格搜索和决策树
	from sklearn import datasets
	from sklearn.model_selection import GridSearchCV, train_test_split
	from sklearn.tree import DecisionTreeClassifier
	
	# 选择两个超参数 树的深度max_depth和叶子的最小值min_samples_leaf
	parameters = {'max_depth': [3, 5, 7, 9],
	              'min_samples_leaf': [1, 2, 3, 4]}
	
	X, Y = datasets.load_iris(return_X_y=True)
	
	# 将数据进行拆分
	x_train, x_test, y_train, y_test = train_test_split(X, Y, test_size=0.2, random_state=0)
	
	# 进行网格搜索得到最优参数组合
	clf = GridSearchCV(DecisionTreeClassifier(), parameters, cv=3, scoring='accuracy')
	# 通过有最优参数组合的最优模型进行训练
	clf.fit(x_train, y_train)
	
	print('最优参数：', clf.best_params_)
	print('验证集最高得分：', clf.best_score_)
	# 获取最优模型
	best_model = clf.best_estimator_
	print('测试集上准确率：', best_model.score(x_test, y_test))

结果截图：