HBASE
abothli
拥有五年的开发工作经验,曾从事过开发,分析,算法,人工智能,机器学习,运维的相关开发工作。
展开
-
hbase简介
1. hbase简介1.1. 什么是hbaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBASE技术可在廉价PC Server上搭建起大规模结构化存储集群。HBASE的目标是存储并处理大型的数据,更具体来说是仅需使用普通的硬件配置,就能够处理由成千上万的行和列所组成的大型数据。HBASE是Google Bigtable的开源实现,但是也有很多不同之处。比如:Goog...原创 2018-07-02 00:25:25 · 556 阅读 · 0 评论 -
离线备份hbase数据
1. Export/Import(导入导出)hdfs常用命令:http://www.cnblogs.com/gaopeng527/p/4314215.html1) 导出 通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份,Export工具参数如下:可见,在导出时可以指定versio...原创 2018-12-06 11:05:58 · 822 阅读 · 0 评论 -
解决hbase RegionServer频繁宕机的一些办法
HBase在使用中会遇到非常多的问题,最为常见的就是HBase regionserver挂掉(此文中简称regionserver为RS),而RS挂掉的原因各不相同。在本文中对遇到过的HBase RS挂掉的情况做一个简单的整理。HBase集群预留内存不足现象:HBase RS在起来1-2min后马上挂掉日志为如下日志段的重复:Mon Aug 6 10:23:54 CST 2018...原创 2018-11-21 15:30:49 · 4364 阅读 · 0 评论 -
hbase调优总结
一、服务端调优 1、参数配置 1)、hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。 2)、hbase.h...原创 2018-11-09 17:07:32 · 186 阅读 · 0 评论 -
cdh中在线安装及使用Phoenix
1.1: 下载CDH 需要parcel包下载地址: http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/ CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000-el7.parcel CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3...原创 2018-11-09 10:56:10 · 1279 阅读 · 0 评论 -
hbase的基本命令
HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构HBase以表的形式存储数据。表有行和列组成。...原创 2018-07-05 00:08:09 · 431 阅读 · 0 评论 -
怎么用java脚本操作hbase
1.创建表[hadoop@h1 ~]$ vi SqTest.java import java.io.IOException;import java.util.ArrayList;import java.util.List;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.hbase.HBaseCon...原创 2018-07-05 00:07:55 · 341 阅读 · 0 评论 -
怎么在eclipse上开发hbase程序?
1.将hbase目录中的lib中的jar包导入,然后将src目录中的java下的包导入。2.示例程序:import java.io.BufferedReader;import java.io.File;import java.io.FileInputStream;import java.io.FileWriter;import java.io.IOException;import java.io....原创 2018-07-04 10:13:15 · 468 阅读 · 0 评论 -
hbase的优化
HBase 性能优化1. 修改Linux最大文件数Linux系统最大可打开文件数一般默认的参数值是1024,如果你不进行修改并发量上来的时候会出现“Too Many Open Files”的错误,导致整个HBase不可运行查看:ulimit -a 结果:openfiles (-n) 1024临时修改: ulimit -n 4096持久修改:vi /etc/security/limits...原创 2018-07-02 00:29:42 · 157 阅读 · 0 评论 -
hbase获取不同版本问题
版本问题1. 查看在HBase中一个row对应的相同的列只会有一行。使用scan 或get 得到都是最新的数据,如果我们对这某一row所对应的列进行了更改操作后,并不会多生成一条数据,不会像数据库一样,插入时多生成一条记录,在HBase中对同一条数据的修改或插入都只是put操作,最终看到的都是最新的数据,其它的数据在不同的version中保存,默认是隐藏的,通过时间戳区分,Hbase默认保存最近...原创 2018-07-02 00:28:44 · 1937 阅读 · 0 评论 -
hbase的安装部署
1. 上传首先确保用户是hadoop,用工具将hbase安装包hbase-0.99.2-bin.tar.gz上传到/home/hadoop下,确保hbase-0.99.2-bin.tar.gz的用户是hadoop,如果不是,执行chown命令,见上文2. 解压su – hadooptar –zxvf hbase-0.99.2-bin.tar.gz3. 重命名mv hbase-0.99.2 ...原创 2018-07-02 00:26:39 · 391 阅读 · 0 评论 -
hbase报错以及解决方案
HBase启动出现问题报错一1.1错误org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /hbase/MasterProcWALs/state-00000000000000000011.log could only be replicated to 0 nodes instead of minReplicati...原创 2018-12-12 03:22:58 · 4311 阅读 · 0 评论