机器学习数学方法上的不足

一、机器学习方法缺点

1.深度学习（CNN、RNN、DNN）

（1）深度学习的基本特性，决定了深度学习的能力极限，那就是，深度学习模型建立的时候，就已经确定了所有可能形式，就是说，当模型一旦确定，它能够学习什么，不能学习什么，已经定下了极限，再不能超越。这个特性使得很多事情成为不可能，例如，一个训练猫的类别的模型，就很难识别出狗的类型。

（2）黑盒过程，不能观察整个学学习过程，输出的结果难以解释，会影响结果的可信度和他的可接受程度。

（3）学习时间过长（训练过程），有可能陷入局部极小值，甚至可能达不到学习的目的。

（4）深度学习是在一个非常巨大的欧式空间中活动的，这个欧式空间可能有上千万维。但是，真正的学习却不在这个巨大的欧式空间中，而是在那些切成的区域中，这样的间接性就使得深度学习的很多性质很模糊，例如很难清晰获得学习的动力学。这也造成神经网络需要大量参数，大量权值、阈值，并且需要大量的训练数据以及大量的计算。并且这些计算可能是没有必要的。

（人类建立模型的一个人类建立一个模型的工作过程是：（1）学习数学理论、物理理论、化学理论，形式上就是在学校里看老师、或者是自己从公理推导到结论的一堆堆的公式；（2）观测现实世界得到许许多多的观测数据，这个过程也就是使用各种测量仪器，包括做各种生物、物理、化学实验或者是做社会学统计；（3）把观测数据使用各种公理、假设和推论去解释，也就是最终的模型，其实物理学本身就是数学理论基于物理观测的建模,而火箭发动机、电脑都可以理解为继承了物理、化学模型的具体的子级模型。

从上边的过程可以看到，建模对人类来说不过是工作的最后一环，实际上大多数重要和困难的工作都花在前两步。如果不进行前两步，我们人类是无法进行第三步的:不花上十五年学习数学理论和花上十年做风洞试验，我们不可能用五年时间造出发动机。而深度学习不需要进行第一步和第二步。这听上去似乎有些难以置信。单纯靠一些数据，一张什么理论都不懂的网络很难做出比人造的更好的模型。）

2.朴素贝叶斯（高偏差低方差）

朴素贝叶斯是高偏差，低方差。首先，我们要先在训练集上学习一个模型，然后拿到测试集上去用，效果好不好要根据测试集的错误率来衡量。但很多时候，我们只能假设测试集和数据集是符合同一数据分布的，但却拿不到真正的测试数据。这时候怎么在只看到训练错误率的情况下，去衡量测试错误率？

由于训练样本很少，因此通过训练集得到的模型不一定是真正正确的（有限的样本点）。而且，在实际数据中存在噪音，如果太追求在训练集上的完美而采用复杂的模型，称为过拟合，但是也不能采用更简单的模型，模型就不足以刻画数据分布了（欠拟合）。

在统计学习框架下，大家在刻画模型复杂度的情况下，认为error=Bias+Variance。这里Error可以理解为模型的预测错误率，是由两部分组成，一部分是由于模型太简单而带来的估计不准确的部分（Bias），另一部分是模型太复杂而带来的更大的变化空间和不确定性（Variance）。

而朴素贝叶斯是简单的假设了各个数据之间的关系是无关的，是一个被严重简化了的模型，所以，对于这个较为简单的模型，大部分场合都会出现Bias部分大于Variance部分，也就是说高偏差而低方差。

在实际中，为了让Error尽量小，我们在选择模型时需要平衡Bias和Variance所占比例，也就是平衡过拟合和欠拟合。

朴素贝叶斯的缺点在于需要计算先验概率，并且使用了样本独立性假设，造成高偏差低方差现象，所以如果样本属性发生关联时效果不好。

3.马尔可夫模型（标注偏置问题）

在相同状态转移矩阵作用下，状态变化最终会趋于稳态。

马尔可夫链的核心是：在第n+1刻的状态只跟第n刻的状态有关，与n-1，n-2...时刻的状态是没有关系的。

                           

路径1-1-1-1的概率：0.4*0.45*0.5=0.09

路径2-2-2-2的概率:0.018

路径1-2-1-2:0.06

路径1-1-2-2:0.066

由此可得最优路径为1-1-1-1

而实际上，在上图中，状态1偏向于转移到状态2，而状态2总倾向于停留在状态2，这就是所谓的标注偏置问题，由于分支数不同，概率的分布不均衡，导致状态的转移存在不公平的情况。

CRF（条件随机场）模型解决了标注偏置问题，当然，模型相应得也变复杂了。

二、展望

机器学习终究不过是一种统计类方法，统计类方法在推理性的任务面前是不可靠的。比如预测类任务：天文学家可以基于公式推到预测到太阳五十亿年后会超新星爆发，然后坍塌成一个小球。但是用无理论模型的统计方法预测，太阳在五十亿年后依然会像现在一样有活力。

广义相对论的数学基础-非欧几何的诞生，并不是来自于统计类经验观察，事实上，非欧几何的基本假设与人类的日常体验正好相反。与此类似的例子还有反物质的预言、量子力学的理论的建立等。人类科学的研究方法除了经验还包括想象力和反事实推理。

因此，如果有办法把统计学和想象力与反事实推理结合，也许会有更美妙的效果。