kudu
GOD_WAR
喜欢钻研大数据、python、机器学习、人工智能...
展开
-
Kudu+Impala介绍
概述Kudu和Impala均是Cloudera贡献给Apache基金会的顶级项目。Kudu作为底层存储,在支持高并发低延迟kv查询的同时,还保持良好的Scan性能,该特性使得其理论上能够同时兼顾OLTP类和OLAP类查询。Impala作为老牌的SQL解析引擎,其面对即席查询(Ad-Hoc Query)类请求的稳定性和速度在工业界得到过广泛的验证,Impala并没有自己的存储引擎,其负责解析SQL,并连接其底层的存储引擎。在发布之初Impala主要支持HDFS,Kudu发布之后,Impala和Kudu更是原创 2020-11-16 22:08:12 · 2760 阅读 · 0 评论 -
kudu 环境部署
1.1 Linux要求如果使用RHEL/CentOS的Linux,版本必须在6及以上;操作系统支持hole punching capabilities(版本高于6.4);使用xfs 或者 ext4 格式化的驱动器;安装ntp服务;1.2部署计划kudu的部署采用主从结构,master节点运行master server,slave节点运行tablet server,本案例的部署计划如下表:1.3配置ntp服务kudu要求所有的tablet节点与master节点时钟同步.原创 2020-09-14 22:06:40 · 1045 阅读 · 0 评论 -
KUDU 介绍
前言近两年,KUDU 在大数据平台的应用越来越广泛。在阿里、小米、网易等公司的大数据架构中,KUDU 都有着不可替代的地位。本文通过分析 KUDU 的设计, 试图解释为什么 KUDU 会被广泛应用于大数据领域,因为还没有研究过 KUDU 的代码,下面的介绍是根据 KUDU 的论文和网上的一些资料学习自己理解所得,如有不实之处,劳请指正。背景在 KUDU 之前,大数据主要以两种方式存储:静态数据:以 HDFS 引擎作为存储引擎,适用于高吞吐量的离线大数据分析场景。这类存储的局限性是数据无法进行原创 2020-09-13 22:26:00 · 1458 阅读 · 0 评论