有监督学习中输入(inputs)被称为预测者(predictor),更古典的说法是独立变量(independent variables)。在模式识别中我们更偏爱于使用特征(features)。输出(outputs)被称为响应者(responses)或者更传统的说法是依赖变量(dependent variables)。
——《The Elements of Statistical Learning》2.1节Introduction
根据输出类型的不同,我们为不同的预测任务有不同的命名:回归(regression)被用于定量的预测,分类(classification)被用于定性的预测。两者有很多共同之处,特别是都能被视为一个任务的函数近似。
输入也有性质(qualitative)和数量(quantitative)的区别,有些方法可以很自然地用于定性的输入,有些则相反,还有一些两者皆可。
第三类变量是特别有序的类型,例如,小中大。将在第四章分类线性模型中介绍
一般用,X表示输入,如果X是向量,则可以用Xj获取其中的组件。定量的输出一般用Y表示,定性的输出一般用G表示。X,Y,G是表示变量的概念,观察值用xi表示,如果是矩阵则用粗体加大写表示,如N个p维向量大小的输入xi组成的矩阵用X表示。需要区分的是xi和xj,xi表示第i个输入的p维向量,而xj表示长度为N的第j行的所有观察值,即Xj表示的所有观察值。
用Y-hat表示给定输入的预测值,G-hat同理。
可以将分类问题转换成一个回归问题,比如将[0,1]的区间划分成K份用于K分类问题。
用(xi,yi)或(xi,gi)表示训练数据。
——《The Elements of Statistical Learning》2.2节变量类型和术语