hbase
辣条好辣
这个作者很懒,什么都没留下…
展开
-
spark 读取hive数据 写入hbase
1,saveAsNewAPIHadoopDataset批量写入(千万级别以下使用)import org.apache.hadoop.hbase.client._import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.mapreduce.TableOutputFormatim...转载 2020-03-22 17:37:25 · 2431 阅读 · 2 评论 -
使用spark写数据到Hbase的三种方式
方式一:直接使用HBase Table的PUT方法import org.apache.hadoop.hbase.{HBaseConfiguration, TableName}import org.apache.hadoop.hbase.client.{ConnectionFactory, Put, Table}import org.apache.hadoop.hbase.util.Byt...转载 2020-01-01 23:03:05 · 1256 阅读 · 0 评论 -
hbase行键过滤器RowFilter
转载地址 https://my.oschina.net/u/3346994/blog/1923976行过滤器视频链接RowFilter是用来对rowkey进行过滤的,比较符如下:OperatorDescriptionLESS小于LESS_OR_EQUAL小于等于EQUAL等于NOT_EQUAL不等于GREATER_OR_EQUAL大于等于...转载 2019-12-03 22:44:16 · 293 阅读 · 0 评论 -
hbase 预分区建表以及rowkey设计
hbase 预分区建表create 'table_name',{NAME =>'cf',VERSIONS => '1',COMPRESSION =>'SNAPPY'}, SPLITS_FILE => '/root/data/partition.txt'其中partition.txt是一个本地文件可以看下表的分区情况,如下被分成了十个分区对应rowkey 设计...原创 2019-10-28 23:26:52 · 967 阅读 · 0 评论 -
HBase shell 命令介绍
HBase shell是HBase的一套命令行工具,类似传统数据中的sql概念,可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后,如果配置了HBase的环境变量,只要在shell中执行hbase shell就可以进入命令行界面,HBase的搭建可以参考我的上一篇文章:hbase分布式集群搭建HBase介绍HBase简介HBase的名字的来源于Hadoop data...转载 2019-06-25 19:50:41 · 203 阅读 · 0 评论 -
读取HDFS文件中的数据写入到HBase的表中
mapperpackage com.shengsiyuan.hdfs_to_hbase;import java.io.IOException;import org.apache.hadoop.hbase.client.Put;import org.apache.hadoop.hbase.io.ImmutableBytesWritable;import org.apache.hadoo...原创 2019-09-04 23:41:49 · 1910 阅读 · 1 评论