java从本地读文件并上传Hbase

最新推荐文章于 2022-12-14 16:18:06 发布

Xmo_jiao

最新推荐文章于 2022-12-14 16:18:06 发布

阅读量3.2k

点赞数 1

分类专栏： hbase 文章标签： hbase java 本地文件

本文链接：https://blog.csdn.net/Xmo_jiao/article/details/72623948

版权

本文档介绍了如何使用Java从本地文件读取数据，按行操作，然后将这些数据上传到HBase。首先，通过读取文件并以空格分隔的方式来处理数据，接着创建HBase表并进行put操作。接着在HBase shell中验证数据是否成功存入表'HB_MEM_'的'cf'列族。最后，提供了在Hadoop和HBase环境中验证数据的步骤，包括使用hbase shell和通过HBase UI进行检查。

摘要由CSDN通过智能技术生成

有兴趣使用的请点下载链接
数据文件与源代码下载

1 从本地文件读数据，按行操作

String filePath = "/root/input_2";
File file=new File(filePath);
InputStreamReader in_stream = new    InputStreamReader(new FileInputStream(file));  
BufferedReader in = new BufferedReader(in_stream);
String s;
while ((s=in.readLine())!=null ) {
    System.out.println(s);
}

2 Hbase 创建表并put

public class HBaseTest {
public static void main(String[] args) throws MasterNotRunningException,
ZooKeeperConnectionException, IOException {
    // create table descriptor
    String tableName= "mytable";
    HTableDescriptor htd = new HTableDescriptor(TableName.valueOf(tableName));
    // create column descriptor
    HColumnDescriptor cf = new HColumnDescriptor("mycf");
    htd.addFamily(cf);
    // configure HBase
    Configuration configuration = HBaseConfiguration.create();
    HBaseAdmin hAdmin = new HBaseAdmin(configuration);
    hAdmin.createTable(htd);
    hAdmin.close();

    // put "mytable","abc","mycf:a","789"
    HTable table = new HTable(configuration,tableName);
    Put put = new Put("abc".getBytes());
    put.add("mycf".getBytes(),"a".getBytes(),"789".getBytes());
    table.put(put);
    table.close();
    System.out.println("put successfully");
}
}