- 博客(12)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 五十四、HBase的协处理器
在旧版本的（<0.92）HBase中无法轻易建立“二级索引”，难以执行求和、计数、排序等操作。例如统计数据表的总行数，需要使用Counter方法，执行一次MapReduce Job才能得到。虽然HBase在数据存储层中集成了MapReduce，能够有效用于数据表的分布式计算。然而在很多情况下，做一些简单的相加或者聚合计算的时候，如果直接将计算过程放置在server端，能够减少通讯开销，从而获得更好的性能提升。于是，HBase在0.92之后引入了协处理器（coprocessors），从而实现了轻易建立二
2021-03-29 15:33:53
847
2
原创 五十三、通过MapReduce实现HBase操作
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将HBase表中的数据拷贝到另外一张表。本文我们通过两个案例来进行实操一下，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、将HBase表数据复制到另外一张表1.1需求说明1.2编码实现1.3测试二、将HDFS的数据写入到HBase中2.1需求说明2.2编码实现2.3测试一、将HBase表数据复制到另外一张表1.1需求说...
2021-03-24 09:00:05
2727
1
原创 五十二、HBase的API操作
前几篇文章我们介绍了HBase的原理以及安装部署、命令行操作等知识，本文我们来看一下HBase的API操作。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、环境准备二、HBaseAPI操作2.1获取HBase连接对象2.2判断命名空间是否存在2.3判断HBase中是否存在某张表2.4创建表2.5操作表2.6删除表2.7删除表数据三、完整代码一、环境准备首先需要新建工程并导入相关的依赖，如下所示： <de...
2021-03-19 09:34:36
1457
原创 五十一、HBase的原理
上一篇文章我们介绍了如何部署HBase以及HBase常用的命令行操作，本文我们从HBase的读写流程出发来看一下HBase的原理。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、HBase的架构二、HBase的读数据流程三、HBase的写数据流程四、数据flush的过程五、数据合并（compaction）过程一、HBase的架构尽管在前文中我们已经说过HBase的架构了，但是为了加深印象，我们这里再唠叨一下，他的架构图如下所示：HMaster用于管理整个
2021-03-18 09:34:41
1555
3
原创 五十、HBase的安装以及命令行操作
上一篇文章我们从HBase的特点、架构和数据结构出发介绍了一下HBase，本文我们来看看如何部署HBase以及它的命令行操作。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、HBase安装部署1.1环境准备1.2安装包准备1.3修改配置文件1.4分发1.5启动HBase二、命令行操作一、HBase安装部署1.1环境准备因为HBase依赖于Zookeeper，所以在安装部署HBase之前，必须启动Zookeeper集群。1.2安装包准...
2021-03-17 09:12:07
1916
3
原创 四十九、HBase介绍
传统的RDBMS关系型数据库（例如SQL）存储一定量数据时进行数据检索没有问题，可当数据量上升到非常巨大规模的数据（TB或PB）级别时，传统的RDBMS已无法支撑，这时候就需要一种新型的数据库系统更好更快的处理这些数据，我们可以选择HBase。本文主要是对HBase进行的一个简单介绍，包括HBase的特点、架构以及数据结构。
2021-03-15 09:00:58
1585
4
原创 四十八、Kafka的监控工具
今天我们来介绍几个Kafka的监控工具，这部分做一下了解即可，因为现在的大数据平台都有自己的监控界面，可以从监控界面上监控Kafka，只有在单独使用ApacheKafka集群的时候才会用到咱们本章讲解的监控工具，这种业务场景就现在来说已经不多了，所以本文只做了解即可，不用过多的深究，到时候会有专门的大数据监控平台。同时，这也是Kafka部分的最后一章了，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~文中涉及到的监控工具，均可通过此处进行下载~目录一、KafkaMonitor二、K..
2021-03-11 16:07:23
2875
3
原创 四十七、Kafka中的拦截器（Interceptor）
前两篇文章我们分别介绍了Kafka生产者和消费者的API，本文我们介绍一下Kafka中拦截器的知识。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、拦截器介绍二、拦截器案例2.1需求2.2代码实现2.3测试一、拦截器介绍Kafka Producer拦截器（Interceptor）主要用于实现clients端的定制化控制逻辑。对于Producer而言，Interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做一些定制化需求，比如修...
2021-03-10 08:58:04
2648
6
原创 四十六、Kafka消费者（Consumer）API介绍
有生产者的API自然也就会有消费者的API，上篇文章我们通过几个简单的编码学习了Kafka生产者的API，本文我们来看一下消费者的API。Consumer消费数据时的可靠性是很容易保证的，因为数据在Kafka中是持久化的，故不用担心数据丢失问题。由于consumer在消费过程中可能会出现断电宕机等故障，consumer恢复后，需要从故障前的位置的继续消费，所以consumer需要实时记录自己消费到了哪个offset，以便故障恢复后继续消费。所以offset的维护是Consumer消费数据是必须考虑的问题。下
2021-03-08 09:55:37
5001
8
原创 四十五、Kafka生产者（Producer）API介绍
前几篇文章我们主要介绍了一些理论上的知识，下面我们来实操一下，本文主要讲解Kafka生产者的API。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~Kafka的Producer发送消息采用的是异步发送的方式。在消息发送的过程中，涉及到了两个线程——main线程和Sender线程，以及一个线程共享变量——RecordAccumulator。main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka broker。
2021-03-05 10:00:34
2125
4
原创 四十四、Kafka的架构
上篇文章主要介绍了Kafka的安装部署，以及一些简单的命令行操作。本文我们来深入的研究一下Kafka的架构，关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、Kafka工作流程二、Kafka文件存储机制三、Kafka生产者3.1分区策略3.1.1分区的原因3.1.2分区的原则3.2数据可靠性3.2.1副本同步策略3.2.2 ack应答机制3.2.3故障处理3.3ExactlyOnce语义四、Kafka消费者4.1消费方式...
2021-03-03 09:34:29
1552
1
原创 四十三、Kafka的安装部署与基本操作
上篇文章我们简单介绍了一下Kafka相关的知识，这篇文章我们来实际的安装一下Kafka并进行一下简单的操作。关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~一、安装Kafka1.1安装包准备首先需要去Kafka的官网下载Kafka的安装包，请戳这里进行下载。将下载的好的tar包上传到服务器中，这里我们放到/opt/software目录下：1.2解压解压安装包，并修改名称为kafka：tar -zxvf ./kafka_2.11-0.11.0.2.tgz -C ..
2021-03-01 09:05:53
5899
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人