![](https://img-blog.csdnimg.cn/20200429172311459.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Hbase
文章平均质量分 79
Hbase
千叶公子
不要幻想而不行动,否则永远也体会不到收获果实时的喜悦。
展开
-
获取hbase中表的记录数
获取hbase中表的记录数 /** * 获取hbase中表的记录数 , 此方法查询记录数较快 可到秒级 * * @param zkIp * @param zkPort * @param hbaseZNode * @param name * @return */ public static long getTableRowNum(String zkIp,原创 2020-12-22 15:46:24 · 1069 阅读 · 0 评论 -
Hbase 多张表数据合并
1、Spark编码实现:spark读hbase基于TableInputFormat设置查询条件,获取需求数据,在写入hbasebulk load方式scala编码实现:package com.cbp.hbaseTableMergeimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName}import org.apache.hadoop.hbase.原创 2020-07-02 17:39:18 · 1663 阅读 · 0 评论 -
Saprk读取hive表数据处理后写入Hbase表
1、put方式scala编码实现:package com.nbdpt.work4_hive2hbase2019import com.nbdpt.util.BaseUtilimport org.apache.hadoop.hbase.client.{ConnectionFactory, Get, Put}import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.mapreduce.T原创 2020-07-02 17:17:02 · 289 阅读 · 0 评论 -
Spark读取csv和parquet文件将数据写入Hbase表
1、Saprk读取csv文件将数据写入Hbase表中编码实现。scala编码:package com.cbp.spark_hbaseimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.client.ConnectionFactoryimport org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.hadoop.hbase.{HBaseCon原创 2020-07-02 16:25:50 · 876 阅读 · 0 评论 -
Spark读取Hbase数据保存为csv和parquet格式
利用Spark SQL的DataFream 将hbase表数据保存为csv或者parquet格式文件。代码:package com.cbp.spark_hbaseimport org.apache.hadoop.hbase.HBaseConfigurationimport org.apache.hadoop.hbase.client.Resultimport org.apache.hadoop.hbase.io.ImmutableBytesWritableimport org.apache.h原创 2020-07-02 16:10:49 · 753 阅读 · 0 评论 -
Hbase常用shell记录
命令不用就会忘记,做个记录,工作中用到的!# 启动关闭启动hbase:./bin/start-hbase.sh 停止hbase:./bin/stop-hbase.sh启动shell脚本:./bin/hbase shell命令查看:help查看当前登录用户及用户组:whoami# 创建表创建表:create 'test', { NAME => 'cf', VERSIONS => 3 , COMPRESSION => 'SNAPPY', DATA_BLOCK_ENCODING原创 2020-06-15 17:07:26 · 355 阅读 · 0 评论