一、机器学习方法缺点
1.深度学习(CNN、RNN、DNN)
(1)深度学习的基本特性,决定了深度学习的能力极限,那就是,深度学习模型建立的时候,就已经确定了所有可能形式,就是说,当模型一旦确定,它能够学习什么,不能学习什么,已经定下了极限,再不能超越。这个特性使得很多事情成为不可能,例如,一个训练猫的类别的模型,就很难识别出狗的类型。
(2)黑盒过程,不能观察整个学学习过程,输出的结果难以解释,会影响结果的可信度和他的可接受程度。
(3)学习时间过长(训练过程),有可能陷入局部极小值,甚至可能达不到学习的目的。
(4)深度学习是在一个非常巨大的欧式空间中活动的,这个欧式空间可能有上千万维。但是,真正的学习却不在这个巨大的欧式空间中,而是在那些切成的区域中,这样的间接性就使得深度学习的很多性质很模糊,例如很难清晰获得学习的动力学。这也造成神经网络需要大量参数,大量权值、阈值,并且需要大量的训练数据以及大量的计算。并且这些计算可能是没有必要的。
(人类建立模型的一个人类建立一个模型的工作过程是:(1)学习数学理论、物理理论、化学理论,形式上就是在学校里看老师、或者是自己从公理推导到结论的一堆堆的公式;(2)观测现实世界得到许许多多的观测数据,这个过程也就是使用各种测量仪器,包括做各种生物、物理、化学实验或者是做社会学统计;(3)把观测数据使用各种公理、假设和推论去解释,也就是最终的模型,其实物理学本身就是数学理论基于物理观测的建模,而火箭发动机、电脑都可以理解为继承了物理、化学模型的具体的子级模型。
从上边的过程可以看到,建模对人类来说不过是工作的最后一环,实际上大多数重要和困难的工作都花在前两步。如果不进行前两步,我们人类是无法进行第三步的:不花上十五年学习数学理论和花上十年做风洞试验,我们不可能用五年时间造出发动机。而深度学习不需要进行第一步和第二步。这听上去似乎有些难以置信。单纯靠一些数据,一张什么理论都不懂的网络很难做出比人造的更好的模型。)
2.朴素贝叶斯(高偏差低方差)
朴素贝叶斯是高偏差,低方差。首先,我们要先在训练集上学习一个模型,然后拿到测试集上去用,效果好不好要根据测试集的错误率来衡量。但很多时候,我们只能假设测试集和数据集是符合同一数据分布的,但却拿不到真正的测试数据。这时候怎么在只看到训练错误率的情况下,去衡量测试错误率?
由于训练样本很少,因此通过训练集得到的模型不一定是真正正确的(有限的样本点)。而且,在实际数据中存在噪音,如果太追求在训练集上的完美而采用复杂的模型,称为过拟合,但是也不能采用更简单的模型,模型就不足以刻画数据分布了(欠拟合)。
在统计学习框架下,大家在刻画模型复杂度的情况下,认为error=Bias+Variance。这里Error可以理解为模型的预测错误率,是由两部分组成,一部分是由于模型太简单而带来的估计不准确的部分(Bias),另一部分是模型太复杂而带来的更大的变化空间和不确定性(Variance)。
而朴素贝叶斯是简单的假设了各个数据之间的关系是无关的,是一个被严重简化了的模型,所以,对于这个较为简单的模型,大部分场合都会出现Bias部分大于Variance部分,也就是说高偏差而低方差。
在实际中,为了让Error尽量小,我们在选择模型时需要平衡Bias和Variance所占比例,也就是平衡过拟合和欠拟合。
朴素贝叶斯的缺点在于需要计算先验概率,并且使用了样本独立性假设,造成高偏差低方差现象,所以如果样本属性发生关联时效果不好。
3.马尔可夫模型(标注偏置问题)
在相同状态转移矩阵作用下,状态变化最终会趋于稳态。
马尔可夫链的核心是:在第n+1刻的状态只跟第n刻的状态有关,与n-1,n-2...时刻的状态是没有关系的。
路径1-1-1-1的概率:0.4*0.45*0.5=0.09
路径2-2-2-2的概率:0.018
路径1-2-1-2:0.06
路径1-1-2-2:0.066
由此可得最优路径为1-1-1-1
而实际上,在上图中,状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。
CRF(条件随机场)模型解决了标注偏置问题,当然,模型相应得也变复杂了。
二、展望
机器学习终究不过是一种统计类方法,统计类方法在推理性的任务面前是不可靠的。比如预测类任务:天文学家可以基于公式推到预测到太阳五十亿年后会超新星爆发,然后坍塌成一个小球。但是用无理论模型的统计方法预测,太阳在五十亿年后依然会像现在一样有活力。
广义相对论的数学基础-非欧几何的诞生,并不是来自于统计类经验观察,事实上,非欧几何的基本假设与人类的日常体验正好相反。与此类似的例子还有反物质的预言、量子力学的理论的建立等。人类科学的研究方法除了经验还包括想象力和反事实推理。
因此,如果有办法把统计学和想象力与反事实推理结合,也许会有更美妙的效果。