Hadoop
关注
分享
扫一扫
写代码的蓝胖子
搬砖小码农
展开
-
利用MapReduce从Oracle导数据到Hbase
利用MapReduce从Oracle导数据到Hbase MapReduce是一种可用于数据处理的编程模型，主要有Map和Reduce两个概念。 利用MapReduce从Oracle导数据到Hbase MapReduce Job 作业流程 代码实现 main方法 InputFormat Mapper TableReducer（Reducer） 运行MapReduce MapRed...原创 2018-03-24 14:25:55 · 1827 阅读 · 6 评论 -
Hbase相关模块及工作原理
Hbase相关模块及工作原理 这里记录、表述一下关于Hbase的相关模块和工作原理，便于理解和加深印象。不对的还望指出。 相关模块 首先，集群版的Hbase构于hadoop的文件系统(HDFS)上的，以HDFS作为数据存储的基础。上层提供访问数据Java API，供应用访问及操作数据。Hbase集群，主要由Master和Region Server组成，以及Zookeeper提供节点管理。...原创 2018-03-26 21:59:34 · 386 阅读 · 0 评论 -
hadoop 2.8.3 集群环境搭建
hadoop 2.8.3集群环境搭建 Linux ： CentOS 7 hadoop版本： hadoop-2.8.3 JDK： 1.8.0_161 这里打算直接root用户，搭建3个节点的hadoop集群环境。先关闭防火墙，安装成功后，启动哪里报错再针对性开放端口。 /etc/hosts 192.168.247.129 master 192.168.247.131 sla...原创 2018-04-22 16:48:51 · 3122 阅读 · 0 评论 -
HBase过滤器工具类
HBase过滤器工具类 package com.liuyu.utils; import org.apache.hadoop.hbase.CompareOperator; import org.apache.hadoop.hbase.filter.*; import java.util.Collection; /** * @author huangliuyu * @description...原创 2019-08-09 17:41:53 · 485 阅读 · 0 评论 -
HBase过滤器基本概念
HBase过滤器 过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤，基于HBase本身提供的三维有序（主键、列、版本有序），这些过滤器可以高效地完成查询过滤的。 使用过滤器至少需要两类参数： 操作符 HBase提供了枚举类型的变量来表示这些抽象的操作符 LESS (<) LESS_OR_EQUAL (<=) EQUAL (=) NOT_EQUAL (!=) GREATER...原创 2019-08-11 22:54:54 · 457 阅读 · 0 评论