从HDFS读取文件,把记录存到Hbase的java API操作

这篇博客介绍了如何使用Java API从HDFS读取特定格式的文件,这些文件包含课程名、姓名以及多次考试分数,然后将这些数据存储到Hbase。主类通过继承Configured并实现Tool接口,配置文件放置在config文件夹下,包含hdfs-site.xml和core-site.xml,以支持HA高可用集群。
摘要由CSDN通过智能技术生成

从HDFS读取文件,文件的数据格式类似如下

computer,xuzheng,54,52,86,91,42
computer,huangbo,85,42,96,38
english,zhaobenshan,54,52,86,91,42,85,75
english,liuyifei,85,41,75,21,85,96,14
algorithm,liuyifei,75,85,62,48,54,96,15

数据的意义:课程名 姓名 多次考试的分数

首先主类extends Configured implements Tool

public class ReadFromHdfsToHbase extends Configured implements Tool{
	private static final String ZK_CONNECT="hadoop02:2199,hadoop03:2199";
	private static final String TABLE_NAME="Student_Score";
	public static void main(String[] args) throws Exception {
		int run=ToolRunner.run(new ReadFromHdfsToHbase(), args);
		System.exit(run);
	}

	@Override
	public int run(String[] arg0) throws Exception {
		//设置环境变量
		Configuration conf=HBaseConfiguration.create();
		/**
		 * 思路
		 * 1.建立与hdfs的连接(设定zookeeper法定人数)
		 * */
		conf.set("hbase.zookeeper.quorum",ZK_CONNECT);
		System
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值