hbase中执行mr任务

1.查看hbase的mr任务的执行
bin/hbase mapredcp

2.环境
永久生效,在/etc/profile
vi /etc/profile

export HBASE_HOME=/opt/hbase
export HADOOP_HOME=/opt/hadoop
并在hadoop-env.sh中配置(for循环后面配)
vi hadoop-env.sh
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/opt/hbase/lib/*

临时生效,hbase执行命令就行,每次启动都要

export HBASE_HOME=/opt/hbase
export HADOOP_HOME=/opt/hadoop
export HADOOP_CLASSPATH=`${HBASE_HOME}/bin/hbase mapredcp

5.重启
bin/stop-hbase .sh
//到hadoop下分发
xsync etc/hadoop/hadoop-env.sh //手动配置效果一样
stopcluaster.sh //停止集群,stop效果一样
util.sh //查看集群当前状态
//按照顺序启动zk,hadoop,hbase
startcluster.sh //zk有lead,follow才算启动
bin/start-hbaes.sh
jps //查看进程

4.运行官方的mr任务

//统计student表中有多少行数据
/opt/hadoop/bin/yarn jar lib/hbase-server-1.3.1.jar rowcounter student //模式

//命令
/opt/hadoop/bin/yarn jar /opt/hbase/lib/hbase-server-1.4.3.jar rowcounter aa
//结果
org.apache.hadoop.hbase.mapreduce.RowCounter R o w C o u n t e r M a p p e r RowCounterMapper RowCounterMapperCounters
ROWS=2

//使用mr将本地数据导入到hbase

//.csv文件是以 逗号 分隔的(打开是excel表格),.tsv文件是以 table键 分隔的
//主要作用就是告诉系统,此文件是以什么符号分隔的
1)在本地(hdfs)创建一个tsv格式的文件:fruit.tsv
1001 apple red
1002 pear yellow
1003 pineapple yellow

 2)创建hbase表

create ‘fruit’,‘info’

 3)在hdfs中创建fruit文件夹并上传fruit.tsv文件

hadoop dfs -mkdir /fruit2
hadoop dfs -put /fruit.tsv /fruit2

 4)执行mr到hbase的fruit表中

/opt/hadoop/bin/yarn jar /opt/hbase/lib/hbase-server-1.4.3.jar importtsv
-Dimporttsv.columns=HBASE_ROW_KEY,info:name,info:color fruit
hdfs://192.168.8.10:9000/fruit2

  5)使用scan查看导入后结果

scan ‘fruit’

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值