监督学习、无监督学习
监督学习:通过让机器学习大量带有标签的样本数据,训练出一个模型,并使该模型可以根据输入得到相应输出的过程。
无监督学习:让机器自学,是没有标签的一种学习。无法清楚判断数据集中数据、特征之间的关系,而是要根据聚类或一定的模型得到数据之间的关系。
分类、 回归
分类:把事物按照相同的特点进行分类。
回归:建立变量之间的函数关系。
聚类、降维
聚类:无监督分类。
降维:通过降维的方法来实现数据压缩及可视化。
损失函数
损失函数:计算预测值和真实值的差距的一类型函数。
训练集、测试集、验证集
训练集:训练集用来训练模型,即确定模型的权重和偏置这些参数。
测试集:用来形容模型能力的好坏。
验证集:用于模型的选择,来确定超参数。
过拟合、欠拟合
过拟合:把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质,这样就会导致泛化性能下降。
欠拟合:指对训练样本的一般性质尚未学好。在训练集及测试集上的表现都不好。
经验风险、期望风险
经验风险:是局部的,对训练集中的所有样本点损失函数的平均最小化。
期望风险:是全局的,是基于所有样本点的损失函数最小化的。