1,bulkloading 批量导入工具
1.1,环境准备
1)新建文本数据 music1.txt,music2.txt
music1.txt:
编号(rowkey) 歌名(song) 歌手(singer) 歌手性别(gender) 节奏 (ryghme) 客户端(terminal)
1_song1_2016 song1 singer1 man slow ios
2_song1_2017 song2 singer2 man slow pc
2)新建表 musicrecored 表(播放记录表)
列簇只有一个 info
3)新建表 namelist 表(歌曲播放统计表)
列簇只有一个 details
1.2,hbase 集成到 hadoop 中(集群每一个节点都需要配置)
1)将 hbase 核心配置文件 hbase-site.xml 添加到 hadoop主目录/etc/hadoop/下
2)将 hbase 的库(hbase主目录下lib目录)配置到 hadoop 的环境(hadoop-env.sh)中
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/home/hduser/hbase-1.2.0/lib/*
3)利用新建的 musicrecored 表测试集成是否成功
在 hbase 主目录/lib/中有 hbase-server***.jar 内有 hbase 提供的工具类 rowcounter 主要用于测试利用 mapreduce 统计 hbase 表中记录总数,命令如下:
$>hadoop jar hbase主目录/lib/hbase-server*.jar rowcounter musicrecord (表名)
1.3,概念
bulkloading 批量导入分成两部完成的:
第一部分将需要导入的文本转化为 HFILE(分布式文件)格式的文件;
第二部分将 HFILE 文件关联到 hbase 的表
1