spark
文章平均质量分 86
海牛大数据_青牛老师
【海牛大数据】创始人
展开
-
spark 操作 hbase 之写入 hbase
1 概述在大数据的应用场景中,hbase常用在实时读写。写入 HBase 的方法大致有以下几种: 1)Java 调用 HBase 原生 API,HTable.add(List(Put))。 2)使用 TableOutputFormat 作为输出。 3)Bulk Load,先将数据按照 HBase 的内部数据格式生成持久化的 HFile 文件,然后复制到合适的位置并通知 RegionServer ,即完成海量数据的入库。其中生成 Hfile 这一步可以选择 MapReduce原创 2021-06-03 11:43:37 · 4117 阅读 · 0 评论 -
spark 操作 hbase 之读取 hbase
1 通过 scan 读取 hbase 表应用场景: 当想读取hbase表数据,做进一步数据处理或数据分析时,需要用scan 读取 HBASE 表。读取方法:直到读取数据的inputformat是 TableInputFormat,keyin: ImmutableBytesWritable rowkeyvaluein:Result 一行(rowkey)的数据1.1 scan 全表package day05.hbaseimport org.apache.hadoop.con原创 2021-06-03 11:38:44 · 2250 阅读 · 0 评论