机器学习_高偏差(High bias)与高方差(High vars)

笔者之前写过篇有关学习曲线和过拟合的，里面表述不是非常清晰。最近刚刚刷完吴恩达老师2017的机器学习课程，又看到吴恩达老师的深度学习中1.5节。 所以，就来了兴致，准备把高偏差和高方差梳理下记录下来。

一、高偏差和高方差是什么

这里直接用吴恩达老师的机器学习课程的图来做解释
非常直观

高偏差（High bias）

对于高偏差的模型增加训练数据并不会改善模型的效果

高方差（High vars）

对于高方差的模型增加训练数据会在一定程度上改善模型的效果

二、改善策略

我们将在下面的数据集上演示

x = np.array(list(range(2000)) + list(range(50)) + list(range(20)) + list(range(10))) + 1
y = 2 * np.log(x * x) + np.random.rand(len(x)) * 3 + np.cos(x)
plt.scatter(x, y, s=5, alpha=0.6)
plt.show()

模型简单训练和绘制学习曲线如下

def sklearn_plot_learning_curves(model_in, x_in, y_in, ax=None):
    x_train, x_test, y_train, y_test = train_test_split(x_in, y_in, test_size=0.25)
    y_train = y_train.reshape((-1, 1))
    y_test = y_test.reshape((-1, 1))
    train_errors, test_errors = [], []
    for m in tqdm(range(1, len(x_train), 20)):
        model_t = model_in.fit(x_train, y_train)
        y_train_pre = model_t.predict(x_train[:m])
        y_test_pre = model_t.predict(x_test)

        train_errors.append(mean_squared_error(y_train[:m], y_train_pre))
        test_errors.append(mean_squared_error(y_test, y_test_pre))

    print('y_test_pre.shape:', y_test_pre.shape)
    ax.plot(train_errors, 'r-+', lw=2, label='train', alpha=0.6)
    ax.plot(test_errors, 'b-', lw=2, label='test', alpha=0.6)
    ax.legend(loc='upper right')
    ax.set_title(f"total sample: {x_in.shape[0]}")
    return model_t

def sklearn_simple_train(model_in, x, y, add_log=False):
    """
    单一特征训练
    """
    fig, axes = plt.subplots(1, 2, figsize=(16, 6))
    if add_log:
        reg_ = sklearn_plot_learning_curves(model_in, np.c_[x, np.log1p(x)], y, ax=axes[0])
    else:
        reg_ = sklearn_plot_learning_curves(model_in, x, y, ax=axes[0])
    x_p = np.linspace(0, x.shape[0], 100)
    if add_log:
        y_p = reg_.predict(
            np.c_[x_p.reshape((-1, 1)), np.log1p(x_p.reshape((-1, 1)))]
        )
    else:
        y_p = reg_.predict(x_p.reshape((-1, 1)))

    axes[1].scatter(x, y, s=5, alpha=0.6)
    axes[1].scatter(x_p, y_p, s=5, alpha=0.6)
    axes[1].set_title(f'add_log: {add_log}')
    plt.show()

改善高偏差（High bias）

lr = LinearRegression()
sklearn_simple_train(lr, x, y)

对于单一维度简单模型拟合，出现高偏差，增加数据并不会改善模型。

• 增加训练特征
• 增加多项式特征
  • 增加了特征，显然从原先的cost大于8， 到现在的1.3左右，从拟合线上看，也是显著好转。

• 减少正则
• 在不增加数据和特征的情况下，还可以采用复杂的模型
  • 如 xgb的树回归

xgb_lr = XGBRegressor()
sklearn_simple_train(xgb_lr, x, y)

改善高方差（High vars）

• 增加更多的训练样本
  • 从我们采用xgb树回归的时候，我们发现存在较大的方差，所以，我们可以考虑增加数据量
  • 增加训练数据果然达到了我们所需要的效果
    
• 减少训练特征
• 增加正则