Scaling Law假设是否成立？所谓的AI难道只是镜花水月？从模型的底层构架方面探讨一些关于生成式AI的粗浅认识

越来越感觉生成式AI走错了方向，不是说生成式AI没有前途，而是目前的生成式AI只依赖于基于概率算法的大模型。事实上，只使用大模型作为生成式AI引擎的技术路线存在一种很隐蔽的根本性缺陷，这种缺陷导致需要浪费地球的许多资源，从材料到能源、从训练时间到算力中心空间。 我认为这种缺陷，事实上说明当今的AI缺少一种能力。

我们确实应该重视算力、能源的发展，而且这一点在最长的时间尺度上，完全没有问题。我始终坚信，AI一定是第四次工业革命的新质生产力之一。

但是，投资界中出现了对AI界投资是否能够回本的顾虑。

（可以参考高盛的这篇报告A skeptical look at AI investment | Goldman Sachs）

这其中有一个理由是非常值得考虑的。第三次工业革命期间，互联网之所以能够普及，是因为成本的大大降低：人们使用互联网的成本越来越低，人们搭建互联网也越来越容易。另外的问题就是如何应用这个强大的力量，也就是应用场景是什么的问题，但我相信解决这个问题只是时间问题。

但目前的AI似乎不一样。目前的AI是堆算力，堆大数据，数据利用效率还可以更高。我知道大模型在只有数据量大到一定程度的时候表现会大大提升。但隐藏的代价是消耗大量资源，比如能源需要投入以前的好多倍，比如高精材料需要大量投入生产。

所以，这里可能存在潜在的泡沫。当然，这也意味着AI