ChatGPT启示录: 智能、推理的本质是什么?神经网络既是推理机,也是知识规则库?

        多种因素让人类对自身的智力产生了一种自信,毕竟这个世界上其他生物没有我们大脑发达,智力似乎是上天给人类的独有礼物。作为孩子的父母,老师说孩子不努力似乎是可以接受的,但是说自己娃娃笨是极其羞辱的。

        类似的,让很多人不能接受的是:机器人可以算得比我快、存储的比我多,但就是不能比人类还聪明。人们刻板印象中,机器就应该像一块砖头一样,可以被拿来拍人甚至可以自动去拍人,但决不可能反驳说拍人是不对的,甚至拒绝去拍人。就像单位雇你只是想让你螺丝钉去执行,而非让你太智能去质疑领导的决策,甚至不听领导指挥。如果你那样做了,某种意义上就是对领导智商和他所掌握决策信息的一种侮辱。

 人工智能

        估计大部分人从未想过有一天需要接受机器会和人平起平坐的现状,人甚至要去尊重机器。智商是人类面对机器的最后底裤,如果有一天智力上机器也全面碾压了人类了,大家还能接受这个现实么?

逻辑推理是发现隐含关系


        很多人喜欢看推理小说或电影,这类题材常以侦探事件为主题,融入密室、不可能犯罪等元素,主角以敏锐的观察和理性逻辑分析,层层解开故事谜题,给观看者带来烧脑的愉悦感。大家喜欢看的原因除了难以猜测的结局或凶手,还有严密的逻辑和推理,也就是体验人类的理性的美感。

        科学的两大方法是归纳法和演绎法。从大量现象中通过归纳找出规律,然后使用规律去解决实际问题。三段论 是演绎法中的最简单的推理判断,例如所有人都会生病(这是通过归纳法找到的规律),王阳明虽然是圣人但也是人,所以王阳明也会生病甚至因病去世。

        人们往往更重视高质量的演绎推理,推理的步数和全面性是评估推理质量的重要指标。例如一个象棋游戏中,规则就那十几条,一个普通人最多只能推出三五步后的棋局,而一个专业选手可能能推出几十步后的盘面。

 推理

        ChatGPT 为代表的深度神经网络本身就是多层推理的典范。我们拿图像识别的卷积神经网络为例,每一个隐层(卷积、池化和全连接)都可以认为是一步推理,每层都会形成图片的某些浓缩的特征信息,而整个神经网络就是适用于图像识别的大推理机。

        从这个意义上讲,让我们人类骄傲的推理能力,不过是从一些规则(或关系)出发,发现实体间隐含关系的能力。推理的本质就是发现输入实体和输出实体的相关关系、因果关系。人工神经网络本质是存储了输入输出间关系的网络,由给定的输入,通过庞大的深层关系网络后,就能输出空间实体的概率可能性。

        世界上的知识和经验,有些甚至无法言表,如我们通过不断试错后,就能形成肌肉记忆,学会骑自行车。骑自行车的知识和经验,内化到了我们大脑皮层里,但是这些经验知识无法很好地通过语言表达出来。人工神经网络也是一样,网络中庞大的参数在训练后,能包含训练数据中的关系信息,给定输入能给出最好的输出预测,但是网络中的权重值不一定符合人类的直觉,也无法很好的解释。

 神经网络

模型训练就是做逻辑归纳


        归纳的本质是从不确定性中找出某些确定性。归纳是发现信息的过程,信息是熵的反面。发现实体间的关系,是一个熵减的过程,是整个系统从无序到有序的过程。例如,车牌图像识别神经网络在没有训练之前,输入一个车牌图片,无法给出合适的车牌数字,所有可能的车牌的概率都是一样的。经过训练后的神经网络,由输入车牌图片,给出某一个特定车牌的概率会提高到 60%以上。

        给出训练样本,不断迭代训练神经网络本身,就是在做归纳。网络中权重参数的调整就是归纳的成果。训练好的网络模型就可以用于演绎推理。ChatGPT 有 1750 亿个参数,人的大脑有 1000 亿个神经元,当把 40TB 的数据不断地喂给 ChatGPT 后,ChatGPT 就学习到了人类自然语言的所有知识。

知识规则数据库和推理机

        从这个意义上讲,神经网络本身就是一个知识规则数据库,能把知识保存到自己的网络中。神经网络也可以看成一个信息压缩器,能把信息压缩进自己有限的参数里。而神经网络的预测就是提取知识的过程,提取知识就是推理的过程。搜索引擎本身要做的就是给定关键词,给出合适的网页,这本身就是预测的过程,也就是推理的过程,所以ChatGPT 必然可以用于搜索引擎。

        人类推理的本质就是从输入实体得出输出实体,输入实体空间到输出实体空间的关系使用就是推理的方法。无疑神经网络这种结构就是非常好的知识表示载体。ChatGPT 使用了非监督学习、强化学习和提示学习。神经网络的各种学习方法就是归纳的方法,归纳出来的关系信息就隐藏在神经网络的参数之中。

总结


  • 机器会比人聪明
  • 人类科学基本构建在归纳法和演绎法之上
  • 推理的本质是发现隐藏的关系
  • 深度神经网络结构本身就是多层推理(多层演绎)
  • 神经网络的参数学习过程就是归纳法,归纳的结论包含在网络参数值中
  • 神经网络是包含了领域实体关系的知识规则数据库,是一个信息和实体关系的压缩器

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值