机器学习以及模式识别均属于人工智能范畴,机器学习源自于计算机科学,
模式识别源自于工程学,尽管这两者源自于不同的背景,但这两者可以认为是同一个领域下的不同描述。
从上世纪九十年代,统计机器学习开始成为主流
统计机器学习的形象解释:如果说一个事物背后有一个函数决定了它的特性,那么我们不再需要研究这个函数究竟是什么形式,只要有足够多的数据,通过统计方法,选取恰当的模型,我们便可以在一定程度上拟合出这个函数,尽管我们拟合出的函数在大多数情况下都不等价于事物的本质函数,但如果它能在可允许的误差范围内正常工作,这就足够了。
统计机器学习的本质:统计学习使得工作重心转为寻找合适的模型上,其本质是"经验风险最小化"。也就是说,我们应该如何寻找一个合适的模型,使得测试误差最小化?
模型分为两种: