基于神经网络的机器学习基础

函数拟合是人工神经网络的理论基础。基于人工神经网络的机器学习的理论基石是如下定理：多层神经网络可以拟合任何函数（这种说法不够严谨，但基本意思是这样的）。与此相关的一个定理是：多项式可以逼近任何连续函数。

传统的方法是线性拟合，包括广义的线性回归方法（GLM）和高维回归方法（SVM）等。线性回归方面有个致命的缺陷，即解决不了非线性问题。最简单的非线性运算异或（XOR），即使用最复杂的线性回归方法也无法拟合。

从线性到非线性，是重大的飞跃。人工神经网络其实跟神经没有一点关系，其本质是一串级联的线性变换。正是通过线性变换的级联，实现了从线性到非线性的转变。这一思想在很早之前即出现，但真正得以应用，则是在很晚之后了。

主要的问题不在于理论，而在于工程。一是结构方面的问题，由于神经网络结构灵活性，造成模型的不稳定；二是计算的问题，网络收敛需要用到最优化方法，其计算量巨大。近几年来，神经网络的主要进步即在这两方面。结构方面，发展了多种类型的神经网络，其核心是规范网络的灵活性；计算方面，算法的进步加上GPU计算使得运算时间在可接受的范围内。

目前，基于人工神经网络的机器学习方法已经取得了举世瞩目的应用成就。在图形、语音识别，自动控制，计算机围棋等方面得到了历史最好的结果。有理由相信，这只是开始。