HBase
文章平均质量分 61
主要记录笔者HBase遇到的问题和经验
扫地增
莫问,问就是无敌
展开
-
HBase实践——HBase rowkey 设计实践总结小记
背景:针对在hbase使用Scan+Filter进行查询时,必须要设置startKey和stopKey,限制扫描的范围分区,大数据量情况下不设置所要查询的分区会导致全表扫描。由于需要设置分区,即startKey和stopKey,那么我们需要设计好我们的rowKey,目前没有发现适用所有情况的完美的rowKey设计方案,都需要根据业务和数据来进行合理的设计我们的rowKey。比如我们业务中,需要以某个字段的值作为查询条件,那么这个字段的值就可以作为rowKey的一部分,注意了,这里说的是作为rowKe原创 2021-06-28 09:39:59 · 509 阅读 · 3 评论 -
spark操作操作Phoenix
phoenix结合spark配置在Spark运行环境中添加Phoenix依赖,需要在spark-env.sh添加如下代码:#添加Phoenix依赖for file in $(find /opt/hbase-1.2.4/lib |grep phoenix)do SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:$file"doneexport SPARK_DIST_CLASSPATH这样每次启动spark任务都会将phoenix的jar包添加到c原创 2021-06-16 14:20:39 · 502 阅读 · 1 评论 -
Phoenix 实践——Phoenix 表的视图构建(表映射)总结小记
Phoenix和HBase表之间的关系官方说默认情况下,直接在hbase中创建的表,通过phoenix是查看不到的。如图POPULATION是在phoenix中直接创建的所以可以看到,而像kylin相关表是在hbase中直接创建的或者是我们在hbase中直接创建的表,在phoenix中是查看不到的。如果要在phoenix中操作直接在hbase中创建的表,则需要在phoenix中进行表的映射。映射方式有两种:视图映射和表映射测试:首先在HBase中准备phoenix_table_mappin原创 2021-06-11 16:57:59 · 2134 阅读 · 7 评论 -
Phoenix实践——Phoenix图形化工具SQuirrel SQL安装使用小记
SQuirrelSQL下载SQuirrelSQL下载地址按装步骤:双击安装包:弹出如下框点next继续next选择安装地址,建议默认不变选择需要的插件,功能部分可以选择前两个,建议安装中文语言插件一路next最后选个Done,安装完成使用步骤:配置SQuirrel SQL可视化工具支持phoenix客户端,将Phoenix下的phoenix-4.15.0-HBase-1.4-client.jar包放到/Applications/SQuirreLSQL.app/Conte原创 2021-06-11 15:58:58 · 523 阅读 · 3 评论 -
Phoenix实践——Phoenix配置支持二级索引和使用小记
支持配置:phoenix的二级索引需要配置进行实现,步骤如下:增加配置不会报错,报错请考虑是版本监控问题。1、HMaster配置在HMaster节点的$HBASE_HOME/conf/hbase-site.xml中增加配置如下:<!-- phoenix master 配置参数 --><property> <name>hbase.master.loadbalancer.class</name> <value>org.原创 2021-06-11 14:43:54 · 303 阅读 · 3 评论 -
Phoenix实践 —— Phoenix SQL常用基本语法总结小记
详细语法参见官网语法这里只给出常用的一些语法Phoenix Shell常用的命令操作!table --查看表信息 !describe tablename --可以查看表字段信息!history --可以查看执行的历史SQL!dbinfo!index tb; --查看tb的索引!quit; --退出phoenix shellhelp --查看其他操作HDFS数据直接导入到表中的操作hadoop jar /home/phoenix-4.12/phoenix-4.6.0-HBase-1..原创 2021-06-11 12:27:47 · 3059 阅读 · 8 评论 -
Phoenix&HBase实践(一)——Phoenix+HBase结合实践操作总结
1、下载上传下载和hbase版本兼容的tar,上传并解压tar[hadoop@kb-testhadoop01 phoenix]$ tar -zxvf ../datas/apache-phoenix-4.15.0-HBase-1.4-bin.tar.gz -C ./2、配置环境变量环境变量配置#PHOENIX_HOMEexport PHOENIX_HOME=/home/hadoop/phoenix/apache-phoenix-4.15.0-HBase-1.4-binexport PHOE原创 2021-06-09 10:54:02 · 379 阅读 · 1 评论 -
HBase实践 —— hive-hbase交互集成实践总结
hive和hbase那些版本是相互兼容的官网说,hive0.90与hbase0.92是兼容的,早期的hive版本与hbase0. 890.0兼容;hive1.x与hbase0.98.x或则更低版本是兼容的。hive2.x与hbase1.x及比hbase1.x更高版本兼容;由于笔者在实践中使用的是hbase1.x与hive1.x。如果想hbase1.x与hive1.x整合,需要编译hive-hbase-handler代码。交互配置:1、配置hive、hbase环境变量,已有不在配#配置原创 2021-06-08 14:46:48 · 321 阅读 · 1 评论