机器学习之参数估计

万事皆有规律可循。学习就是去捕捉和掌握万事发生的规律。

数学地说，给定一个x（事起之因），遵循一个规律 F（*），可得一个y（事终之果）。

学习，无论人还是机器，就是去总结归纳这个F（*）。

当这个规律异常复杂从而无法显式地用数学公式直接写出来或者编程，而同时我们又围绕这个规律掌握有大量的（x，y）因果样本时，就可以采取数据驱动的方式（data-driven），来“机器学习”这个规律F（*）。

注意，学习的过程是要给approximation，即去得到一个hypothese H（*）来逼近真实的规律F（*）。由于我们仅仅掌握了部分样本（x，y），这些样本是大千世界中的一组采样，所以仅依据这些样本得到的模型仅仅算得上是一个对大千世界真是规律的逼近。因为采样，也就自然反映出了机器学习的概率性。

此时，我们又称规律H（*）为一个“模型”。

模型H（*），通俗理解为一个或一组含参的公式。传统机器学习算法（如SVM，linear regression等等）的“算法”之意，就是模型给定，仅待定参（参数估计）。深度学习，就是依据“连接主义”，堆叠一些基础模块（blocks such as convolutional layer，LSTM cells，