机器学习数学方法上的不足

一、机器学习方法缺点

1.深度学习(CNN、RNN、DNN)

(1)深度学习的基本特性,决定了深度学习的能力极限,那就是,深度学习模型建立的时候,就已经确定了所有可能形式,就是说,当模型一旦确定,它能够学习什么,不能学习什么,已经定下了极限,再不能超越。这个特性使得很多事情成为不可能,例如,一个训练猫的类别的模型,就很难识别出狗的类型。

(2)黑盒过程,不能观察整个学学习过程,输出的结果难以解释,会影响结果的可信度和他的可接受程度。

(3)学习时间过长(训练过程),有可能陷入局部极小值,甚至可能达不到学习的目的。

(4)深度学习是在一个非常巨大的欧式空间中活动的,这个欧式空间可能有上千万维。但是,真正的学习却不在这个巨大的欧式空间中,而是在那些切成的区域中,这样的间接性就使得深度学习的很多性质很模糊,例如很难清晰获得学习的动力学。这也造成神经网络需要大量参数,大量权值、阈值,并且需要大量的训练数据以及大量的计算。并且这些计算可能是没有必要的。

(人类建立模型的一个人类建立一个模型的工作过程是:(1)学习数学理论、物理理论、化学理论,形式上就是在学校里看老师、或者是自己从公理推导到结论的一堆堆的公式;(2)观测现实世界得到许许多多的观测数据,这个过程也就是使用各种测量仪器,包括做各种生物、物理、化学实验或者是做社会学统计;(3)把观测数据使用各种公理、假设和推论去解释,也就是最终的模型,其实物理学本身就是数学理论基于物理观测的建模,而火箭发动机、电脑都可以理解为继承了物理、化学模型的具体的子级模型。

从上边的过程可以看到,建模对人类来说不过是工作的最后一环,实际上大多数重要和困难的工作都花在前两步。如果不进行前两步,我们人类是无法进行第三步的:不花上十五年学习数学理论和花上十年做风洞试验,我们不可能用五年时间造出发动机。而深度学习不需要进行第一步和第二步。这听上去似乎有些难以置信。单纯靠一些数据,一张什么理论都不懂的网络很难做出比人造的更好的模型。)

2.朴素贝叶斯(高偏差低方差)

朴素贝叶斯是高偏差,低方差。首先,我们要先在训练集上学习一个模型,然后拿到测试集上去用,效果好不好要根据测试集的错误率来衡量。但很多时候,我们只能假设测试集和数据集是符合同一数据分布的,但却拿不到真正的测试数据。这时候怎么在只看到训练错误率的情况下,去衡量测试错误率?

由于训练样本很少,因此通过训练集得到的模型不一定是真正正确的(有限的样本点)。而且,在实际数据中存在噪音,如果太追求在训练集上的完美而采用复杂的模型,称为过拟合,但是也不能采用更简单的模型,模型就不足以刻画数据分布了(欠拟合)。

在统计学习框架下,大家在刻画模型复杂度的情况下,认为error=Bias+Variance。这里Error可以理解为模型的预测错误率,是由两部分组成,一部分是由于模型太简单而带来的估计不准确的部分(Bias),另一部分是模型太复杂而带来的更大的变化空间和不确定性(Variance)。

而朴素贝叶斯是简单的假设了各个数据之间的关系是无关的,是一个被严重简化了的模型,所以,对于这个较为简单的模型,大部分场合都会出现Bias部分大于Variance部分,也就是说高偏差而低方差。

在实际中,为了让Error尽量小,我们在选择模型时需要平衡Bias和Variance所占比例,也就是平衡过拟合和欠拟合。

朴素贝叶斯的缺点在于需要计算先验概率,并且使用了样本独立性假设,造成高偏差低方差现象,所以如果样本属性发生关联时效果不好。

3.马尔可夫模型(标注偏置问题)

在相同状态转移矩阵作用下,状态变化最终会趋于稳态。

马尔可夫链的核心是:在第n+1刻的状态只跟第n刻的状态有关,与n-1,n-2...时刻的状态是没有关系的。

640?wx_fmt=jpeg

                           

路径1-1-1-1的概率:0.4*0.45*0.5=0.09

路径2-2-2-2的概率:0.018

路径1-2-1-2:0.06

路径1-1-2-2:0.066

由此可得最优路径为1-1-1-1

而实际上,在上图中,状态1偏向于转移到状态2,而状态2总倾向于停留在状态2,这就是所谓的标注偏置问题,由于分支数不同,概率的分布不均衡,导致状态的转移存在不公平的情况。

CRF(条件随机场)模型解决了标注偏置问题,当然,模型相应得也变复杂了。

二、展望

机器学习终究不过是一种统计类方法,统计类方法在推理性的任务面前是不可靠的。比如预测类任务:天文学家可以基于公式推到预测到太阳五十亿年后会超新星爆发,然后坍塌成一个小球。但是用无理论模型的统计方法预测,太阳在五十亿年后依然会像现在一样有活力。

广义相对论的数学基础-非欧几何的诞生,并不是来自于统计类经验观察,事实上,非欧几何的基本假设与人类的日常体验正好相反。与此类似的例子还有反物质的预言、量子力学的理论的建立等。人类科学的研究方法除了经验还包括想象力和反事实推理。

因此,如果有办法把统计学和想象力与反事实推理结合,也许会有更美妙的效果。


640?wx_fmt=jpeg

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习是一种通过使用统计学和数学模型来教会机器进行任务的方法。其中,数学在机器学习中扮演着重要的角色。 在机器学习中,数学提供了一种理论基础和工具,用于分析和推导机器学习算法的性质。例如,数学中的线性代数和概率论被广泛应用于机器学习中的矩阵运算和概率模型。通过数学的分析,我们可以证明算法的收敛性、稳定性和误差上界等性质,从而更好地理解算法并优化其性能。 此外,机器学习也经常使用数学优化方法来解决模型训练过程中的参数估计和优化问题。通过最小化损失函数,我们可以使用数学优化方法来找到模型最优的参数组合。这些数学方法包括梯度下降、牛顿法和拟牛顿法等。 另一方面,视觉也是机器学习中一个重要的应用领域。在计算机视觉中,机器学习算法被用于处理和分析图像和视频数据。通过机器学习方法,机器可以学习从图像中提取特征,例如边缘、纹理和形状,并用于物体识别、目标检测和图像分类等任务。 机器学习在计算机视觉中的应用涵盖了很多领域,例如人脸识别、图像分割、目标追踪和图像生成等。通过机器学习,我们可以使计算机更好地理解和处理视觉信息,从而实现自动化和智能化的图像处理和分析。 综上所述,数学在机器学习中起着重要的角色,同时机器学习也广泛应用于数学在视觉领域的实际问题解决中。这种交叉应用促进了机器学习和视觉领域的发展,并为我们提供了更强大的工具和方法来解决现实世界的问题。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值