长时间以来,人工智能和大数据一直作为孪生兄弟相互支撑。
但如今,生产与离线分析各自独立的传统信息化结构已经无法支撑AI的发展。
每个异构数据库产品之间的同步和数据冗余、业务的实时性需要流数据框架、ML越来越多作为核心业务部件被部署在流程中自动化完成……这些问题的出现通通限制了大数据企业应用的发展。
新一代数据驱动业务提出了数据湖等全新架构,而数据湖不仅仅是低成本的存储,更应是面向生产交易等数据科学处理的核心计算框架。
在此背景下,天云大数据推出了百万原生代码规模的HTAP数据库产品:Hubble!可以实现混合交易分析处理。
据了解,Hubble对SQL进行了全面支持,并具备NoSQL的能力。采用了大数据高扩展、高可用的架构,可以满足不同的业务企业级应用,还可以对实时、高性能的需求提供多种交互接口。
Hubble底层采用Hdfs做数据为存储介质,具备存储海量数据的能力以及集群的横向动态扩展能力,在安全性方面利用HDFS的三副本机制来保证整个集群的稳定运行。
分片服务会将预写日志直接持久化到磁盘,以保证事务,而不是放在内存中,避免使用内存导致事务出错的风险,并提高事务的可靠性。
通过Mem Storage作为数据缓冲层,HDFS Storage将数据序列化到HDFS中,并从API层级支持数据的批量加载,每个shard作为哈勃逻辑层面的最小单元。
Hubble可以使用JAVA SDK、JDBC客户端、SQL等多种访问方式为前端应用提供数据的访问。