hbase
文章平均质量分 72
qq_41665356
这个作者很懒,什么都没留下…
展开
-
hbase_安装环境准备
本机创建三个虚拟机,HostnameIpNamePasswordcentos2192.168.75.101rootroot123Centos3192.168.75.102rootroot123Centos4192.168.75.103rootroot123 1. 修改hosts文件修改三台机器的hosts文件:vi /etc/hosts添加:192.168.75.101 centos2192.16...原创 2018-05-19 14:25:44 · 1659 阅读 · 0 评论 -
hbase_使用阿里云hbase
官网上的帮助:问:我配置了ZK地址以后,还是无法连接上HBasea) 首先。目前HBase还没有提供公网的访问地址。所以使用公网是无法访问到HBase的。您需要在和HBase相同的地域的ECS机器上才能正确访问到HBase。b) 请确认您的HBase的网络设置和您访问的ECS是相同的。如果ECS是经典网络,那么HBase需要设置为经典网络,如果ECS是VPC的,那么HBase就需要设置为VPC。c...原创 2018-05-20 23:11:19 · 3540 阅读 · 0 评论 -
hbase_hase的底层结构
一、hbase的底层结构Hbase的存储默认为hdfs的/hbase目录,可以通过hbase-sit.xml配置。 /hbase/archive (1)/hbase/corrupt (2) /hbase/data/default/TestTable/.tabledesc/.tableinfo.0000000001 (3)/hbase/data/default/TestTable/fc06f27a6...原创 2018-05-21 09:26:01 · 1207 阅读 · 0 评论 -
hbase_性能调优
一、hbase性能调优1. Hbase UI默认为:http://IP:16010可以在hbase-site.xml中配置端口 <property> <name>hbase.master.info.port</name> <value>60010</value> </property>hbase状态页面:http://ip...原创 2018-05-21 09:26:07 · 3083 阅读 · 0 评论 -
hbase_使用中遇到的问题(NotServingRegionException)
NotServingRegionException错误系统运行一段时间后:刚开始重复报:table=harve_visited_user, attempt=35/35 failed=1ops, last exception: org.apache.hadoop.hbase.NotServingRegionException: org.apache.hadoop.hbase.NotServingRe...原创 2018-05-21 09:26:13 · 19446 阅读 · 0 评论 -
hbase_使用中遇到的问题(PleaseHoldException)
PleaseHoldException启动hbase后,输入list报错:ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:1889) at org.apa...原创 2018-05-21 09:26:21 · 2486 阅读 · 0 评论 -
hbase_使用中遇到的问题(CallTimeoutException)
1. CallTimeoutException Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=139094: row '' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=hykj-slave-4,60040...原创 2018-05-21 09:26:29 · 23188 阅读 · 0 评论 -
hbase_使用中遇到的问题(ConnectionLossException)
1. ConnectionLossException此异常为zookeeper的可恢复异常可恢复的异常是指那些应用程序能够在同一个ZooKeeper会话中恢复的异常。一个可恢复的异常是通过KeeperException.ConnectionLossException来表示的,它意味着已经丢失了与ZooKeeper的连接。ZooKeeper会尝试重新连接,并且在大多数情况下重新连接会成功,并确保会话...原创 2018-05-21 09:26:38 · 3513 阅读 · 0 评论 -
hbase_使用中遇到的问题(SessionExpiredException)
SessionExpiredException不可恢复的异常在某些情况下,ZooKeeper会话会失效——也许因为超时或因为会话被关闭,两种情况下都会收到KeeperException.SessionExpiredException异常,或因为身份验证失败,KeeperException.AuthFailedException异常。无论上述哪种情况,所有与会话相关联的短暂znode都将丢失,因此应...原创 2018-05-21 09:26:46 · 8279 阅读 · 1 评论 -
hbase_使用中遇到的问题(RetriesExhaustedException)
1. RetriesExhaustedException有两类:org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed setting up proxy to /10.37.17.248:60020 after attempts=1此类是由于映射ip地址时出错,需将/etc/hosts中的::1行去掉,改为:127.0.0....原创 2018-05-21 09:26:51 · 8396 阅读 · 0 评论 -
hbase_数据备份(主从)
1. Replication(主从) 可以通过replication机制实现hbase集群的主从模式,具体步骤如下:1、 zookeeper不能被hbase托管,如果主从hbase集群共用一个zk集群,则zookeeper.znode.parent不能都是默认的hbase,可以配置为hbase-master和hbase-slave2、 在主hbase集群的hbase-site.xml中添加...原创 2018-05-20 23:11:07 · 2385 阅读 · 1 评论 -
hbase_数据备份(快照)
Snapshot(快照) 开启快照功能,在hbase-site.xml文件中添加如下配置项:<property><name>hbase.snapshot.enabled</name><value>true</value></property>在hbase shell中使用clone_snapshot, delete_sn...原创 2018-05-20 23:10:59 · 1443 阅读 · 0 评论 -
hbase_安装
1. 安装hadoop(见相关章节)2.安装zookeeper(见相关章节)3.安装hbase下载地址:http://www-us.apache.org/dist/hbase/ 1) HBase配置① regionserversvi $HBASE_HOME/conf/regionservers文件内容为slave节点的hostname列表:centos3centos4 ② hbase-env.sh...原创 2018-05-19 14:25:51 · 791 阅读 · 0 评论 -
hbase_Hbase配置实例
Regionservers(略)hbase-env.sh(略)hbase-site.xmlMaster:<configuration>//基础配置:含hbase在hadoop目录中的位置、zk地址、复本个数 <property> <name>hbase.rootdir</name> <value>hdfs://z1.y:19...原创 2018-05-19 14:25:57 · 1137 阅读 · 1 评论 -
hbase_shell命令
进入shell:hbase shell1. 查看共有哪些表:list2. 查询表记录数:count ‘tablename’有三种方法:方法一:hbase> count ‘t1′ hbase> count ‘t1′, INTERVAL => 100000 hbase> count ‘t1′, CACHE => 1000 hbase> count ‘t1′,...原创 2018-05-20 23:09:52 · 197 阅读 · 0 评论 -
hbase_在代码中使用(java项目)
1. 准备工作:1) 修改hosts因为zookeeper中存的是主机名,而不是ip地址,因此需要在本机的hosts文件中添加映射关系,即,在C:\Windows\System32\drivers\etc\hosts添加:192.168.75.101 centos2192.168.75.102 centos3192.168.75.103 centos4 2) 创建java项目项目名:hbase_s...原创 2018-05-20 23:10:02 · 2233 阅读 · 0 评论 -
hbase_在代码中使用(集成spring)
1. 配置文件添加一个配置文件 : hbase.zookeeper.property.clientPort=2181hbase.zookeeper.quorum=192.168.10.120hbase.master=192.168.10.120:60020fs.defaultFS=hdfs://192.168.10.120:19000delete-connection=true其中前两行为zk的地...原创 2018-05-20 23:10:13 · 1600 阅读 · 0 评论 -
hbase_过虑器(参数基础)
本身过滤器是在代码中使用章节的一部分,但因其内容多,且重要,故单独作为一章。1. 参数基础有两个参数类在各类Filter中经常出现,统一介绍下:(1)比较运算符 CompareFilter.CompareOp比较运算符用于定义比较关系,可以有以下几类值供选择:常量含义CompareOp.EQUAL相等CompareOp.GREATER大于CompareOp.GREATER_OR_EQUAL大于等于...原创 2018-05-20 23:10:26 · 102 阅读 · 0 评论 -
hbase_过虑器
1. 结构过滤器--FilterListFilterList 代表一个过滤器链,它可以包含一组即将应用于目标数据集的过滤器,过滤器间具有“与” FilterList.Operator.MUST_PASS_ALL 和“或” FilterList.Operator.MUST_PASS_ONE 关系。 两个“或”关系的过滤器的写法:public List<Map<String, Object...原创 2018-05-20 23:10:35 · 214 阅读 · 0 评论 -
hbase_数据备份(copyTable)
HBase的数据备份或者容灾方案有这几种:Distcp,CopyTable,Export/Import,Snapshot,Replication,以下分别介绍(以下描述的内容均是基于0.94.20版本)。 1. Distcp(作废)在使用distcp命令copy hdfs文件的方式实现备份时,需要禁用备份表确保copy时该表没有数据写入,对于在线服务的hbase集群,该方式不可用,而且在一些文章中...原创 2018-05-20 23:10:43 · 2919 阅读 · 0 评论 -
hbase_数据备份(导入/导出)
1. Export/Import(导入导出)hdfs常用命令:http://www.cnblogs.com/gaopeng527/p/4314215.html1) 导出 通过Export导出数据到目标集群的hdfs,再在目标集群执行import导入数据,Export支持指定开始时间和结束时间,因此可以做增量备份,Export工具参数如下:可见,在导出时可以指定version,starttim...原创 2018-05-20 23:10:52 · 17130 阅读 · 3 评论 -
hbase_使用中遇到的问题(reginserver节点挂掉)
现象: 新搭建了四台hbase集群,创建了100多张表,导入了3000多万的记录。在使用过程中,每个小时的第36分钟其中一个regionserver节点挂掉,另两个regionserver节点跟着也挂掉。master节点没问题。先挂掉的regionserver节点的日志节选:2018-06-06 10:35:50,125 WARN [RpcServer.FifoWFPBQ.default....原创 2018-06-07 14:15:43 · 4550 阅读 · 1 评论