华为正式宣布开源数据虚拟化引擎openLooKeng,开源社区官网(https://openlookeng.io)同步上线。openLooKeng致力于为大数据用户提供极简的数据分析体验,让用户像使用“数据库”一样使用“大数据”。
2019年11月19日,华为宣布开源数据虚拟化引擎HetuEngine(开源版本的HetuEngine叫openHetu),今日,openHetu正式更名为openLooKeng,HetuEngine更名为LooKengEngine。openLooKeng是一款开源的高性能数据虚拟化引擎。提供统一SQL接口,具备跨数据源/数据中心分析能力以及面向交互式、批、流等融合查询场景。同时增强了前置调度、跨源索引、动态过滤、跨源协同、水平拓展等能力。
随着大数据技术的应用和发展,数据种类越来越多,数据分布越来越广,查询场景也越来越复杂,这使得大数据使用更加困难。为了改善大数据的易用性,华为发起数据虚拟化引擎openLooKeng开源项目,旨在解决上述问题:
统一SQL接口访问多种数据源
免数据搬迁,在数据所在地对数据进行处理,并且支持跨数据中心、跨云处理
面向交互式、批、流等融合查询的场景(第一个版本支持交互式查询场景)
此外,该项目还提供了Coordinator AA高可靠、可扩展的数据源connector框架等能力,让用户及大数据解决方案伙伴更方便的使用openLooKeng。
openLooKeng使用了业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力,并继续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展,让数据治理、使用更简单。
作为开源社区,openLooKeng开源项目采用商业友好的Apache License 2.0发行许可证,让开发者、用户和伙伴使用更自由,并期待更多大数据领域的开发者参与到社区,共建、共享,共同推动社区的繁荣发展。
openLookeng社区主页: https://openlookeng.io
openLookeng代码托管地址:
https://gitee.com/openlookeng
https://github.com/openlookeng
华为深度参与全球开源组织,为社区积极贡献力量:
国际主流开源基金会的顶级成员:Linux基金会的白金会员、Apache基金会的白金赞助方、OpenStack基金会的白金会员、Eclipse基金会的战略会员。
开源社区/项目的贡献者:华为目前在主流开源社区中拥200多个TSC、PMC、PTL、Maintainer、Committer等席位,以及十多个董事席位服务于各开源项目。在全球第一大社区Linux内核社区中,华为综合贡献全球排名第四;云原生社区CNCF,华为综合贡献全球排名第五;Docker全球排名第5。
通过开源openEuler(Linux 发行版)、Mindspore(全场景深度学习框架)、SODA(智能开放的数据自治平台)、Apache CarbonData(大数据)、Apache微服务项目ServiceComb、KubeEdge(边缘计算)、Volcano(高性能调度引擎)等等,逐步把华为长期投资和积累的大量基础软件能力,不断完善并逐步贡献到开源社区中。