第四范式面向开发者社区开源AIOS底层技术能力

weixin_43798812

于 2021-06-23 13:21:21 发布

阅读量301

点赞数

文章标签：数据库内核大数据 java 人工智能

本文链接：https://blog.csdn.net/weixin_43798812/article/details/118166103

版权

2021年6月23日的发布会中，第四范式宣布开源OpenMLDB机器学习数据库和OpenAIOS人工智能操作系统内核，以解决企业智能化应用中的数据供给和硬件资源管理问题，助力高效开发和降低成本。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2021年6月23日，以“转型新范式”为主题的2021第四范式发布会暨企业智能化转型峰会在京召开。峰会上，第四范式宣布将开源OpenMLDB机器学习数据库和OpenAIOS人工智能操作系统内核，并开放上线了基于机器学习数据库和AI操作系统内核的AIOS社区版，让更多企业、个人开发者在“避坑”的同时，正确高效的构建智能化应用。

很多企业和开发者在使用机器学习技术的时候已经意识到正确数据供给的重要性，然而现有的传统数据系统，不论是事务型数据库、分析型数据库还是传统数仓，都无法面向机器学习提供正确高效的数据供给，在实际应用开发与落地过程中仍然会大量出现数据穿越、泄露、离线在线不一致、拼接错位等数据问题。这是因为机器学习需要解决三个核心数据问题：线上线下一致性(Consistency)、数据闭环(Closed-loop)、数据时序正确(Chronology)。

OpenMLDB一方面通过统一的数据存储引擎避免了跨数据库的信息交换，从而避免了大脑之间的信息交换。另一方面通过统一的数据计算引擎，使离线和在线使用同一套计算逻辑，确保了总结规律和线索演算时思维方式的一致。在时序正确性和闭环完整性上，OpenMLDB 也矫正了传统数据系统造成的机器学习最易出现的数据穿越、泄露以及闭环错位等问题。

除了数据上的困局，AI在计算、存储、通信等方面也是“资源大户”，低效的硬件资源利用率和高昂的成本投入成为了转型的阻碍。不管是计算、存储还是通信，不同的异构芯片、异构存储、异构通信设备，都需要操作系统内核进行统一的管理与调度，保障任务的成功率与资源利用率。第四范式OpenAIOS是一个完全面向AI的分布式操作系统内核，实现了多级计算内核、多级存储内核以及多级通信内核，来应对异构算力的管理和调度。

以多级存储内核为例，面向存储密集型技术组件，因为内存和显存不够导致的任务失败是AI任务最常遇到的难题，在不侵入现有应用和代码的情况下，OpenAIOS 在操作系统内部建立起一套面向内存和显存的多级存储内核，通过自动扩容策略和多级缓存机制将存储容量进行扩展，降低整体存储成本的同时提高任务的成功率。

除了存储密集型技术组件，面向计算密集型技术组件、通信密集型技术组件，OpenAIOS也提供了感知硬件拓扑的异构计算调度能力，以及面向异构加速器的专用通信协议，提升计算效率的同时，减轻数据通信上的压力。

在开源的基础上，第四范式开放了开箱即用的“AIOS社区版”，整合了提供正确数据供给的机器学习数据库OpenMLDB以及提升计算效率的AI操作系统内核OpenAIOS，社区和开发者可在免费的线上算力和应用开发环境进行体验和学习。并支持多种本地 IDE，让大家保持PC上开发单机应用体验的同时，无缝的将分布式任务对接到异构云资源上。在应用的开放性上，除了内置的核心应用，AIOS 社区版也提供了应用商店，能够支持所有的云原生第三方应用。