hadoop
杨缘一
不断接近,终将到达
展开
-
flume介绍
特点: flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。 flume的数据流由事件(Event)贯穿始终。事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Even原创 2017-10-06 14:14:53 · 423 阅读 · 0 评论 -
Hbase 数据写入
写缓冲(Write Buffer)对于一个put操作来说,每次用户通过Htable.add(put)或者Htable.add(List)来提交一个或者一组put,就要和Region Server通信一次。这样开销太大,因此引入写缓冲的概念。当Put 操作提交时,并不是直接提交给Region Server,而是简单的写入到Write Buffer中。只有Write Buffer满了,才被按照Regi原创 2017-11-18 17:49:34 · 484 阅读 · 0 评论