hbase
风语飘摇
XXXXXXX
展开
-
kudu 文件描述符 更改
kudu 文件描述符超过阀值kudu 文件描述符缺省打开文件数为32768在/etc/security/limits.d/下找到了cloudera的limit配置文件,里面限制为32768/etc/security/limits.d/cloudera-scm.conf修改:32768会覆盖系统配置,cm启动的进程最大打开文件数都是32768.要修改这个配置,需要修改cm...原创 2019-11-26 15:51:37 · 1061 阅读 · 0 评论 -
park将数据写入hbase以及从hbase读取数据
本文将介绍1、Spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入Hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远程的hbase。Java版本:1.7.0Scala版本:2.10.4zookeeper版本:3.4.5(禁用了hbase自带zoo转载 2017-02-06 18:58:14 · 1303 阅读 · 0 评论 -
Hbase万亿级存储性能优化总结
背景 Hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面转载 2017-03-08 12:07:55 · 686 阅读 · 0 评论