数据湖
数据湖引擎相关
fly9006
人生苦短,我用python。
展开
-
Dremio数据湖引擎(二):在win10环境下的安装部署
由于博主日常使用的OS为windows10,故本文将简单展示如何在win10基于Docker容器安装部署Dremio。另外,Dremio的官网也给出诸如AWS版本、Azure版本等的安装部署包,有兴趣的话可通过以下链接前往了解:dremio deploy环境准备win10环境下的Docker容器服务拉取dremio-oss的docker镜像这里拉取下来的社区版本的Dremio镜像,商业版本的Dremio需要联系Dremio官方了。当然,作为个人开发使用,社区版本的Dremio已完全够用了。原创 2020-10-09 15:05:40 · 1509 阅读 · 0 评论 -
Dremio数据湖引擎(一):简介
在进入主题前,先聊下数据湖这个概念。百度百科中对该名词有如下解释:数据湖或hub的概念最初是由大数据厂商提出的,表面上看,数据都是承载在基于可向外扩展的HDFS廉价存储硬件之上的。但数据量越大,越需要各种不同种类的存储。最终,所有的企业数据都可以被认为是大数据,但并不是所有的企业数据都是适合存放在廉价的HDFS集群之上的。 说白了,数据湖的意思就是将不同存储类型、不同种类的数据汇聚在一起,例如在一个存储集群中分别有MySQL、Mongodb、s3等等数仓数据,这个存储集群统一对外就是一个数据湖了。原创 2020-10-09 15:03:05 · 6514 阅读 · 2 评论