- 博客(5)
- 收藏
- 关注
RSS订阅原创 HbaseApi的高级特性
文章目录HbaseApi的高级特性过滤器1.过滤器的层次结构2.比较运算符3.比较器4.比较过滤器5.专用过滤器6.附加过滤器7.FilterList8.自定义过滤器计数器1.单计数器2.多计数器协处理器1.Coprocessor2.协处理器的加载3.Observer4.EndPointHTablePool和HConnection HbaseApi的高级特性 过滤器 1.过滤器的层次结构 在过滤器...
2019-12-24 16:41:38
239
原创 Hbase的API操作
Hbase的API操作 HBase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用 HBASE 技 术可在廉价 PC Server 上搭建起大规模结构化存储集群。 Hbase中的角色 HMaster 1．监控 RegionServer 2．处理 RegionServer 故障转移 3．处理元数据的变更 4．处理 region 的分配或转移 5．在空闲时间进行数据的负载均衡 6．通...
2019-12-24 11:37:05
357
原创 Sqoop
Sqoop Sqoop 是一款开源的工具，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql…) 间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres 等）中的 数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 Sqoop 项目开始于 2009 年，最早是作为 Hadoop...
2019-12-22 19:47:08
136
原创 分布式消息队列Kafka
文章目录分布式消息队列Kafka架构组成架构好处Api命令行操作Java Api1.producer1）异步提交2）同步提交2.Consumer1）自动提交2）手动提交3）自定义存储offset3.自定义Interceptor运行机制生产者1.分区的原因2.分区原则3.数据的可靠性4.ISR机制5.ack应答机制6.数据的一致性保证（HW、LEO机制）7.exactly机制（）8.server.p...
2019-12-10 21:11:39
368
原创 Flume
从源码剖析Flume Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 架构 特点 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hb...
2019-12-06 20:18:50
153
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人