HBase
Muroidea
但是我要前行
展开
-
golang连接开启kerberos的phoenix query server服务端
phoenix query server其他语言可以连接phoenix 可以通过 phoenix query server 连接calcite-avatica-go新建项目Phoenix-Golang项目go.modmodule Phoenix-Golanggo 1.15require github.com/apache/calcite-avatica-go/v5 v5.0.0 // indirectexamplepackage mainimport ( "database原创 2021-05-18 22:14:21 · 1124 阅读 · 1 评论 -
zk 启用kerberos后 hbase连接不上问题
背景当cdh集群启动kerberos认证后. 启动hbase是hmaster 死活起不来. 思考可能是认证问题. 使用getAcl 看hbase节点的权限发现hbase用户并没有可操作的权限. 需要给hbase增加权限. 主要出现 KeeperErrorCode = NoAuth for /hbase/flush-table-proc/acquired等错误流程为zk增加一个超级用户https://www.jianshu.com/p/373d52375a65使用超级用户为hbase目原创 2020-09-27 16:26:43 · 902 阅读 · 1 评论 -
Phoneix 写入优化
phoenix 写入优化phoenix是HBase上的SQL组件. 提供了基于jdbc访问HBase的方式. 在写入数据时可以通过phoenix的SQL将数据写入hbase . phoenix 提供了许多特性. 列编码压缩等. 但是在压测写入的时候发现了一些问题. 主要是写入性能不高. 我们主要是消费rabbitmq的数据然后通过phoenix再写入到hbase. 压测时每秒只能写入1700条左右. 经过以下调整提高到了7000每秒. 所以开始查找问题.总结了一下几点.表元数据缓存UPDATE_CAC原创 2020-09-24 13:47:30 · 1467 阅读 · 0 评论 -
Hadoop使用Lzo 压缩时需要注意的点
环境postgrescdh6.3.2从pg从导出数据写入到hdfs上. 写入时使用lzo对数据进行压缩遇到的问题写入可以成功.但是使用lzo的库创建索引提示Invalid LZO header . 但是在linux上lzo 命令压缩文件然后上传到hdfs是可以的.思考是lzo是不支持流式压缩的.解决通过看hadoop压缩类CompressionOutputStream 发现其子类有BlockCompressorStream 注释说它与基于“基于块”的压缩算法一起工作,而不是*基于流的压缩原创 2020-07-31 15:35:25 · 619 阅读 · 0 评论 -
HBase多表 bulkLoad
hbase 中快速导入大数据量可以使用bulkload 但是官方只有单表的load的相关案例. 经过查看一些源码MultiTableHFileOutputFormat可以支持多表bulkloadexamplepackage com.cc.example;import org.apache.commons.lang3.StringUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSys原创 2020-07-09 15:17:08 · 608 阅读 · 3 评论