![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 56
牵梦u
开发大型javaEE工程。
展开
-
Apache Kudu 学习
Apache Kudu 学习一、背景二、kudu架构 一、背景 HDFS:吞吐能力极强,但是随机读写能力差,适合进行批处理数据分析 HBase:随机读写能力极强,但是吞吐能力差,适合做随机分析处理。 kudu:它是一个介入HDFS 和 Hbase之间的存储引擎。可以同时提供低延迟的随机读写和高效的数据分析能力。 此外,kudu支持水平扩展,并且与 Impala 和 Spark 等当前流行的大数据查询和分析工具结合紧密。 二、kudu架构 与HDFS 和 HBase类似,kudu 使用单个的 Master原创 2021-03-29 21:04:13 · 216 阅读 · 0 评论 -
(一)flume的介绍和简单案例
一、flume 介绍 1、定义 flume 是 cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。flume 基于流式框架,灵活简单。如: 2、架构组成 (1)agent agent 是 一个 JVM 进程,它以事件的形式将数据从源头送到目的地。 agent有三个组成部分:source、channel、sink。 (2)source source是负责接收数...原创 2019-10-27 22:32:39 · 288 阅读 · 0 评论