1.模型偏差
模型偏差(Bias)是指预测结果与真实值之间的差异,排除噪声的影响,偏差更多的是针对某个模型输出的样本误差,偏差是模型无法准确表达数据关系导致,比如模型过于简单,非线性的数据关系采用线性模型建模,偏差较大的模型是错的模型。偏差越大,越偏离真实数据集。
2.优化问题
优化问题是指在给定约束条件下,找到一个目标函数的最优解(最大值或最小值)。优化问题3个基本要素是优化变量、目标函数、约束条件。优化问题基本解决办法是解析解法和数值解法。
3.过拟合
过拟合(Over-fitting)是指机器学习算法在训练集上表现良好,但在测试集上表现不佳的现象。过拟合的原因是模型过于复杂,过度地拟合了训练集的噪声和特征,导致在测试集上的泛化能力不足。会造成算法模型预测的结果和真实结果产生较大的误差。
具体见:什么是过拟合、欠拟合现象以及如何缓解?_过拟合和欠拟合-CSDN博客
4.交叉验证
交叉验证(Cross-Validation)就是重复的使用数据,把得到的样本数据进行切分,组合为不同的训练集和测试集,用训练集来训练模型,用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集,某次训练集中的某样本在下次可能成为测试集中的样本,即所谓“交叉”。交叉验证是在机器学习建立模型和验证模型参数时常用的办法,一般被用于评估一个机器学习模型的表现。更多的情况下,我们也用交叉验证来进行模型选择(model selection)。
具体见:交叉验证(Cross-Validation)-CSDN博客