训练误差和泛化误差分别是什么，如何区分？

 在我们学习机器学习或深度学习的时候，经常会遇见一些迷惑词汇，让人傻傻分不清，比如博主刚开始学习的时候，就没有太过于区分，导致一些地方弄混。

 今天就让我带着大家一起区分一下训练误差和泛化误差吧~有什么不对的地方，请各路大佬评论区指正

 首先，通俗的来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。

举个例子来说明一下可能会更清楚：
 以高考为例，训练误差可以认为是做往年高考例题（训练题）时候的错误率，而泛化误差则可以通过真正参加高考（测试题）时的答案错误率来近似。假设训练题和测试题都随机采样于一个未知的依照相同考纲的巨大试题库。如果让一名未学习高中知识的小学生或者初中生去答题，那么测试题和训练题的答题错误率可能很近似，因为他们面对两套题都不怎么会。但是如果换成一名反复联系训练题的高三备考生去答题，那么即使在训练题上做到了错误率为0，也不代表其真是的高考成绩会如何。就好比博主，高考前每次模拟考试成绩都很高，但是在高考的时候就莫名缩水了50+的分数~

  在机器学习里，我们通常假设训练数据集（训练题）和测试数据集（测试题）里的每一个样本都是从同一个概率分布中相互独立地完成的。基于该独立同分布假设，给定任意一个机器学习模型（含参数），它的训练误差的期望和泛化误差都是一样的。例如，如果我们将模型参数设成随机值（小学生），那么训练误差和泛化误差就会非常相近。但是我们知道，模型的参数一般是通过在训练数据集上训练模型而学习出的，参数的选择依据了最小化训练误差（高三备考生）。所以，训练误差的期望小于或等于泛化误差。
  也就是说，一般情况下，由训练数据集学到的模型参数会使模型在训练数据集上的表现优于或者等于在测试数据集上的表现。由于无法从训练误差估计泛化误差，一味地降低训练误差并不意味着泛化误差一定会降低。

注意：
  机器学习模型应关注降低泛化误差