所谓机器学习,在形式上可近似等同于,在数据对象中通过统计或推理的方法,寻找一个有关特定输入和预期输出的功能函数 f(如图 1 所示)。通常,我们把输入变量(特征)空间记作大写的 X,而把输出变量空间记作大写的 Y。那么所谓的机器学习,在形式上就近似等同于 Y≈f(X)。
图 1:机器学习近似于找一个好用的函数
在这样的函数中,针对语音识别功能,如果输入一个音频信号,那么这个函数 f 就能输出诸如 "你好" "How are you?" 这类识别信息。针对图片识别功能,如果输入的是一张图片,在这个函数的加工下,就能输出(或识别出)一个或猫或狗的判定。针对下棋博弈功能,如果输入的是一个围棋的棋谱局势,就能输出这局棋的下一步“最佳”走法。
而对于具备智能交互功能的系统(比如微软的小冰),当我们给这个函数输入如 "How are you?" 一样的语句,它就能输出如 "I am fine, thank you." 这样的智能回应。每个具体的输入都是一个实例(instance),它通常由特征向量(feature vector)构成。在这里,所有特征向量存在的空间称为特征空间(feature space),特征空间的每一个维度对应实例的一个特征。