机器学习之模型评估的概念和方法

1.欠拟合和过拟合

欠拟合（underfitting）是指模型在训练数据和新数据上的表现都很差。这通常是因为模型过于简单，无法捕捉数据中的复杂模式。欠拟合的模型可能具有高偏差（bias），即对训练数据的基本趋势或模式都无法正确拟合。

一般可通过额外增加特征、增加多项式特征、减小$\lambda$的值等方法优化模型。

过拟合（overfitting）是指模型在训练数据上表现很好，但在新数据（测试数据或验证数据）上表现很差。这通常是因为模型过于复杂，能够记住训练数据中的噪声和细节，但无法泛化到新数据。过拟合的模型可能具有高方差（variance），即在新数据上表现不稳定。

一般可通过收集更多的数据、减少使用的特征、增加$\lambda$的值等方法来优化模型。

举例说明：

首先生成一个数据集并可视化显示，代码如下：

import numpy as np
import matplotlib.pyplot as plt


np.random.seed(666)
x = np.random.uniform(-3.0,3.0,size=100)
X = x.reshape(-1,1)
y=0.5 *x**2+x+2+np.</