浅谈机器学习与深度学习的模型设计

今天我们来聊一聊，机器学习与深度学习的模型设计。

运用机器学习算法进行研究，其实就是寻找目标函数的过程。通过构建机器学习模型（形成函数集），用训练数据做驱动，寻找与训练数据匹配，并且在测试数据中表现优异的函数。所以构建机器学习模型就显得十分的重要了。以线性回归为例子，大家可以看一下下面的图。

在寻找目标函数时，假如函数集范围太小，正如图左所示只是一次式项，那么很有可能目标函数不在函数集里面，也就说bias(偏差)比较大，远离了目标函数（也就是图中的靶心），这是我们经常说的欠拟合。而如果我们尽量把函数集设大一点（函数集尽可能的大就有希望能够包含目标函数），这样bias会变小，但是也带来了坏处，模型对噪音数据会特别敏感，一不小心就会出现过拟合的情况。因为我们本身并不知道目标函数到底长什么样，所以我们就要不断测试修改模型，希望能达到好的效果。下面是一点tips,大家可以参考一下。
欠拟合：1 增加特征 2 调整为更加复杂的模型
过拟合：1 增加数据量 2 正则化

上面说的是传统机器学习中模型的设计，那么在深度学习中，我们又该如何设计？首先大家要理解一点，为什么要“deep”？下面大家继续看图。