hbase
任错错
学无止境
展开
-
Flink搭建实时数仓一些问题并解决
1.org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException:具体报错org.apache.phoenix.exception.PhoenixIOException: org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family ta原创 2021-09-03 16:22:25 · 749 阅读 · 0 评论 -
Hbase value存储的16进制转10进制与汉字
Hbasevalue=\x00\x00\x00\x00\x07'\x0E\x00这串16进制中有ACSII码字符1.需要对照ACSII码表把字符转换为16进制:\x00\x00\x00\x00\x07'\x0E\x00转换为:\x00\x00\x00\x00\x0727\x0E\x002.把第一位"\x"转换为16进制中已“0x”开头的,后边的\x去掉\x00\x00\x00\x00\x0727\x0E\x00转换为:0x0000000007270E003.使用linux转换原创 2021-03-18 15:11:33 · 1488 阅读 · 0 评论 -
Hbase与Hive的集成
1.HBase与Hive的对比1.Hive(1) 数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系,以方便使用HQL去管理查询。(2) 用于数据分析、清洗Hive适用于离线的数据分析和清洗,延迟较高。(3) 基于HDFS、MapReduceHive存储的数据依旧在DataNode上,编写的HQL语句终将是转换为MapReduce代码执行。2.HBase(1) 数据库是一种面向列存储的非关系型数据库。(2) 用于存储结构化和原创 2020-11-10 09:09:20 · 644 阅读 · 0 评论 -
HBase优化
硬件和操作系统调优1)配置内存HBase对于内存的消耗是非常大的,主要是其LSM树状结构、缓存机制和日志记录机制决定的,所以物理内存当然是越大越好。并且现在内存的价格已经降到可以批量配置的程度,例如一条三星DDR3的16GB内存,价格大约在1000元左右。在互联网领域,服务器内存方面的主流配置已经是64GB,所以一定要根据实际的需求和预算配备服务器内存。如果资源很紧张,推荐内存最...原创 2019-06-11 20:25:56 · 265 阅读 · 0 评论 -
hbase入库几种方式
hbase入库几种方式第一种利用client API 进行对hbase操作第二种利用Hbase提供的ImportTsv将csv文件导入到HBase用 importtsv 和 bulk load将TSV数据文件导入HBase第三种利用HBase提供的completebulkload将数据导入到HBase1 . 第一种利用client API 进行对hbase操作使用HBase的API中的...转载 2019-06-23 09:52:45 · 233 阅读 · 0 评论 -
大数据框架搭建集群安装配置步骤大全
一《zookeeper集群安装配置》安装步骤:提示:要关闭虚拟机的防火墙,执行:service iptables stop1.准备虚拟机,安装并配置jdk,1.6以上2.上传zookeeper的安装包 3.4.7版本3.解压安装 tar -xvf …………4.配置zookeeper。5.配置集群模式①切换到zookeeper安装目录的conf目录,其中有一个zoo...原创 2019-06-26 11:52:17 · 1613 阅读 · 1 评论 -
HBase表设计
Rowkey设计Rowkey是不可分割的字节数,按字典排序由低到高存储在表中。在设计HBase表时,Rowkey设计是最重要的事情,应该基于预期的访问模式来为Rowkey建模。Rowkey决定了访问HBase表时可以得到的性能,原因有两个:1)Region基于Rowkey为一个区间的行提供服务,并且负责区间的每一行;2)HFile在硬盘上存储有序的行。这两个因素是相...原创 2019-06-23 09:55:21 · 344 阅读 · 0 评论