《这就是ChatGPT》读后随笔

拜读完沃尔夫拉姆大神—当然，之前小子确实不知道大神名讳—的《这就是 ChatGPT》，对神经网络、ChatGPT 有了一个粗浅的认识，并且自认为是非常粗浅的认识。这点粗浅的认识也是对自己认知的一个洗礼，因为确实 AI 发展太快，特别是 ChatGPT 的横空出世。

神经网络介绍

文章以神经网络为始，对神经网络的定位是从一个最常规的思路，即根据人类擅长的横向切分方式，
如: 语音转换文本这个事情，可以切为:
1）分析语音中的音频，
2）分解每个音频为音素
但是后来发现这种方式并不能激活整个神经网络，而交给神经网络端到端的问题或任务，让神经网络自己“学习”到中间过程必要的特征、转码等。这种方式能够获取更佳的结果。这种方式造成一个结果是神经网络中间态是人类完全无法掌握或控制的状态，可以说神经网络对于人类来说是一个“黑箱子”，人类只知道它做了什么，但是不知道是怎么做的。这完全打破了先有科学，再有技术的界限，现在完全是有了这项技术，但是没有一个科学层面的解释，真的是已经走到了哲学层面了~。
还有一点是神经网络的特性，就是往往越复杂的问题神经网络越喜欢去解决，但是对于简单的问题它得到的结果往往并不是很理想，书中用了一定的篇幅去描述这个情况，但是对于非科班出身的我来说知道结论应该是我最大的能力了。
作者描述完神经网络，对神经网络有了一个粗浅的认识，之后抛出了训练的学问。现在的 AI 基本都是经历了：训练->人工处理->推理的逻辑，所以训练也是重中之重。其实神经网络是模拟人脑来逐步演进的，而人脑与计算机能力上又有所差异，文章中提出了两个概念：可学习性，计算不可约性；这两个概念是存在根本矛盾的，学习实际上是通过大脑去找到规律并进行学习内容的数据压缩，但是计算不可约意味着做这个事情就需要这么大的算力，而作为正常的人脑，对于简单的大数计算都会宕机，更何况是更复杂的不可约计算。

ChatGPT原理介绍

讲完神经网络的基本概念，作者引出了 ChatGPT 的内部原理，其底层使用的是 Transformer 框架。Transformer 不是仅仅定义了序列中可以连接的固定区域，而是引入了“注意力”的概念—即更多地“关注”序列的某些部分，而不是其他部分。再回来说 ChatGPT，它到底是在做什么呢？其实就是一个聊天机器人，它的总体目标就是根据大量语料的训练后，能够以“合理”的方式进行文本的续写。它的操作基本分为 3 个阶段。
第一阶段: 获取与目前的文本相对应的标记序列，并且找到这些标记的一个嵌入。
第二阶段：通过标准的“神经网络”对嵌入进行操作
第三阶段：获取数组最后一部分
当然这些都是些专业的内容，我也是懵懵懂懂，或者说一点都不懂，但是文中有类似这样的描述: “为什么只是将标记值和标记位置的嵌入向量相加呢？我不认为有什么特别的科学依据。只是因为尝试了各种不同的方法，而这种方法似乎行得通”，换成更简单的话来说就是：我也不知道为什么，这种方法就是可以，是不是类似于我们日常生活中的经验，或者我们中医的部分药方？或者这才是生活的本质，往往通过以数学为根基的科学没办法囊括整个世界或自然，所以才提现了哲学、神学的价值。

个人一些想法

写到上面这些内容突然不太想记录书中相对晦涩的技术内容了。有一些观点是值得我去深思和记录的：
神经网络是“黑箱模型", chatGPT 或者说人工智能是第一次技术走在了科学的前面，目前人工智能或者说大模型是计算不可约的
神经网络适合解决复杂问题，再处理简单问题时可能由于权重较少，会陷入局部最小值，无法找到出去的方向（全局最小值）
chatGPT 内部没有循环或重复计算数据
看着这些特点，自己也产生了一些想法：

一只野兽似乎永远不会想他的本能有什么作用，为什么要按照本能来做，但是本能就是能够让它很好的活下去，这也许就是我现在对ChatGPT的理解，我也不知道为什么这样设置就行，但是这样设置就是行；这或许就是自然的终极法则，进化论或许就是我们对自然法则理解的不断演进。
对于大模型需要消耗大量算力，但是对于其模拟的目标:人脑却只需要每天提供一些生物能就能够完成更多的工作。计算机（大模型）消耗能量远远大于人脑，有一个想法：每个大脑或许并不完美，都有各自的缺陷，即对于完美人脑可能数值都是70分，但是科学计算我们往往追求的是极致精准，而一件事情从1到90消耗的能量往往远小于从90到100的能量。突然觉得其实差不多才是完美。或许不完美就是自然的法则。
在文章最后，大神不断的推荐wolframlalpha，个人理解:chatGPT更像是一个销售前端，能够将回答的问题包装的非常的类人化，但是内在计算逻辑往往会有问题，而wolframlalpha更像是研发工程师，它会用冰冷的逻辑化语言给出准确的答案，所以最佳的方式是两者结合

简单是复杂的最终归宿

参考:

这就是ChatGPT读后记录