Hadoop
写代码的蓝胖子
搬砖小码农
展开
-
利用MapReduce从Oracle导数据到Hbase
利用MapReduce从Oracle导数据到Hbase MapReduce是一种可用于数据处理的编程模型,主要有Map和Reduce两个概念。利用MapReduce从Oracle导数据到HbaseMapReduce Job 作业流程代码实现main方法InputFormatMapperTableReducer(Reducer)运行MapReduceMapRed...原创 2018-03-24 14:25:55 · 1713 阅读 · 6 评论 -
Hbase相关模块及工作原理
Hbase相关模块及工作原理这里记录、表述一下关于Hbase的相关模块和工作原理,便于理解和加深印象。不对的还望指出。相关模块首先,集群版的Hbase构于hadoop的文件系统(HDFS)上的,以HDFS作为数据存储的基础。上层提供访问数据Java API,供应用访问及操作数据。Hbase集群,主要由Master和Region Server组成,以及Zookeeper提供节点管理。...原创 2018-03-26 21:59:34 · 355 阅读 · 0 评论 -
hadoop 2.8.3 集群环境搭建
hadoop 2.8.3集群环境搭建Linux : CentOS 7 hadoop版本: hadoop-2.8.3 JDK: 1.8.0_161 这里打算直接root用户,搭建3个节点的hadoop集群环境。先关闭防火墙,安装成功后,启动哪里报错再针对性开放端口。/etc/hosts192.168.247.129 master192.168.247.131 sla...原创 2018-04-22 16:48:51 · 2945 阅读 · 0 评论 -
HBase过滤器工具类
HBase过滤器工具类package com.liuyu.utils;import org.apache.hadoop.hbase.CompareOperator;import org.apache.hadoop.hbase.filter.*;import java.util.Collection;/** * @author huangliuyu * @description...原创 2019-08-09 17:41:53 · 455 阅读 · 0 评论 -
HBase过滤器基本概念
HBase过滤器过滤器可以根据列族、列、版本等更多的条件来对数据进行过滤,基于HBase本身提供的三维有序(主键、列、版本有序),这些过滤器可以高效地完成查询过滤的。使用过滤器至少需要两类参数:操作符HBase提供了枚举类型的变量来表示这些抽象的操作符LESS (<)LESS_OR_EQUAL (<=)EQUAL (=)NOT_EQUAL (!=)GREATER...原创 2019-08-11 22:54:54 · 417 阅读 · 0 评论