大模型“搅局”，数据湖，数据仓库，湖仓选型会先淘汰谁？

事情总是这样：

压力初露端倪，暗自考虑改变。

压力高能爆表，立马做出改变。

我们从一家叫做Databricks的美国知名公司聊起。

这家Databricks公司很有创新基因。

其创始人阿里·戈西（Ali Ghodsi）作为“2022年福布斯全球亿万富豪榜”排名第1645位的瑞典富豪，不缺钱，也舍得为公司花钱。

他多次公开表示，不会考虑降低研发投入。

此前（距大模型问世还有几年时间），Databricks就具备一种很重要的能力，我们姑且称之为“二合一”的能力吧：

大数据能力，以及传统人工智能能力。

总称为：“Data+AI”的能力。

更准确地称为：“Data+AI”平台的能力。

传统AI平台的功能，Databricks也早有了。

毕竟，号称一站式商店。

以前，传统AI还可以被归类为“高级”数据分析服务，比如用于预测等场景。

大模型出现后，这样归类就不合时宜了。

大模型不仅仅是分析，人家高低是有智能的。

于是，如今对AI平台的基本要求“水涨船高”：能训练大模型。

而Databricks 公司这样一个Data+AI 平台横跨两界的三好学生优秀班干部，虽然早早具备“二合一”的能力，但也没有在其所辖“四海之内率土之滨”，长出一个生成式AI大模型的功能。

该有的都有呀，居然，眼睁睁看着自己落后了。

大模型需要多大的数据，讲一个训练时候的事实好了。

千亿参数的大模型一次微调，用时大约两个月，消费数据大约20个T。

这意味着，大模型问世之后，大数据“身价”变了，“富贵骄人”。

因为大模型能把大数据里面的价值用得更彻底了。

以前存了多久不要紧，

落了多少灰不要紧。

要紧的是，赶紧喂给大模型。

让大模型把这些尘封已久的知识都“学会”。

一朝变化生，百端头绪出。

轮到大模型给“二合一”平台出难题了。

第一，数据类型多了。

数据不同，模态不同，多种数据，多个模态，大模型向多模态演进。

虽说一般的多模型大模型，训练图文音三种数据；但是，美国大模型这把领先之后，诸君都很激进。手里有好牌，就连续出王炸。

2023年5月9号，

美国厂商Meta大模型ImageBind以视觉为核心，结合文本、声音、深度、热量（红外辐射）、运动（惯性传感器），覆盖6个模态。

无独有偶。

2023年5月26日下午，

国产“紫东太初”2.0全模态大模型发布，特色为可实现文本、图片、语音、视频、3D点云、传感信号等不同模态。

行文至此，不得不感慨，同一个5月份，仅仅从9号到26号，多模态急管繁弦的节奏感了。

第二，计算引擎多了。

按照贾扬清的说法，从技术的角度来看，数据和AI计算是分开的。

数据用数据平台，AI用AI的平台。

今天，无论数据平台，还是 AI 平台，都没法用自己的经验解决对方的问题。因为数据平台和AI平台，背后的技术是截然不同的。

以前的大数据计算引擎主要是支持结构化数据的计算。

不同计算引擎的优化方向（数据新鲜度、查询性能、成本）不同，开发语言、计算语义、存储系统亦不同，组装难度极大。

而AI需要自己的引擎