![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
Data_IT_Farmer
BJUT 2014级 计算机学院小硕一枚,现为某上市金融公司--高级大数据开发工程师一枚。自20170701开始记录自己的技术工作生涯!广结天下技术之友,笑对未来技术之难题!
展开
-
python是通过thrift来操作hbase的示例程序
python是通过thrift来操作hbase的示例程序:在安装hadoop,zookeeper,hbase,thrift,python thrift之后,然后逐一进行关联服务启动,如下顺序,之后python便可借助thrift操作hbase了,代码和运行结果如下。原创 2017-10-10 13:43:15 · 1578 阅读 · 0 评论 -
【hbase】关于HBase报错org.apache.hadoop.hbase.NotServingRegionException的异常分析
关于HBase报错org.apache.hadoop.hbase.NotServingRegionException的异常分析 近期和一个朋友交流,他们的业务系统使用HBase做为底层的数据存储。高峰期的时候偶尔出现org.apache.hadoop.hbase.NotServingRegionException,严重影响了业务系统的正常运行。分析日志后得到这样的错误:1、刚开始报...转载 2018-07-28 22:19:23 · 7016 阅读 · 0 评论 -
查看进程状态信息命令 jps - (Java Virtual Machine Process Status Tool) 命令介绍
jps 名称: jps - Java Virtual Machine Process Status Tool 命令介绍jps(Java Virtual Machine Process Status Tool)是JDK 1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。jps主要用来输出JVM中运行的进...转载 2018-07-18 14:28:10 · 1230 阅读 · 0 评论 -
利用HBase shell设计一个hbase表的初衷
利用HBase shell设计一个hbase表的初衷ps、hbase zkcli 和 hbase shell的使用一、 hbase shell的使用1.1 hbase 可使用的命令参数如下:localhost:bin a6$ hbaseUsage: hbase [<options>] <command> [<args>]Options: --config...原创 2018-05-29 16:28:09 · 674 阅读 · 0 评论 -
HBase-2.HBase 的体系结构、行键、列族设计
HBase-2.HBase 的体系结构、行键、列族设计HBase体系结构l Client -包含访问HBase接口并维护cache来加快对HBase的访问l ZooKeeper-保障任务时候,仅有一个Master节点-存储Region的寻址入口-实时监控RegionServer的上线和下线信息。并实时通知Master-存储HBase的schema和table的元数据信息,通过ls /hbase...转载 2018-05-29 15:12:53 · 2544 阅读 · 0 评论 -
深入HBase架构解析(一)
深入HBase架构解析(一)引文网址,收藏备以后查看——http://www.blogjava.net/DLevin/archive/2015/08/22/426877.html前记公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文...转载 2018-05-16 11:23:11 · 246 阅读 · 0 评论 -
Hbase表两种数据备份方法-导入和导出示例
Hbase表数据导入和导出示例场合:由于线上和测试环境是分离的,无法在测试环境访问线上库,所以需要将线上的hbase表导出一部分到测试环境中的hbase表,这就是本文的由来。本文借助hdfs作为中介将线上的hbase数据导出部分到测试hbase表中。闲话少叙,例子就来:1)、创建hbase表emplocalhost:bin a6$ pwd/Users/a6/Applications/hbase-...原创 2018-05-15 17:39:46 · 21862 阅读 · 6 评论 -
Hbase常用操作及样例
Hbase常用操作及样例(1)创建hbase表可以使用命令创建一个表,在这里必须指定表名和列族名。在HBase shell中创建表的语法如下所示。create '<table name>','<column family>' 示例下面给出的是一个表名为emp的样本模式。它有两个列族:“personal data”和“professional data”。Row keyper...原创 2018-05-12 16:42:37 · 6899 阅读 · 0 评论 -
HBase简介,架构,使用场景介绍
一、Hbase出现的缘由及简介自1970年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后,好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。Hadoop使用分布式文件系统,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。Hadoop的限制Hadoop只能执行批量处理,并且只以顺序...转载 2018-05-12 15:33:21 · 8703 阅读 · 1 评论 -
Hive视图和索引以及MySQL,Hive,Hbase视图概念相关理解
Hive视图和索引以及MySQL,Hive,Hbase视图概念相关理解一、HiveQL视图和索引(1)、视图:Hive中的视图的作用总的来说就是为了简化查询语句,是一个逻辑上的视图,而不是物化的视图。索引则是加快查询速度的比较重要的手段,之前的Mysql优化的文章中也讲到了索引的使用,感觉概念上和Mysql数据库中的操作基本上是相似的。1)、创建视图语句CREATE VIEW [IF NOT EX...转载 2018-05-18 15:32:06 · 1372 阅读 · 0 评论 -
HBase 常用Shell命令
HBase 常用Shell命令使用过hbase,现在最基本的命令都淡忘了,留一个备查~进入hbase shell console$HBASE_HOME/bin/hbase shell如果有kerberos认证,需要事先使用相应的keytab进行一下认证(使用kinit命令),认证成功之后再使用hbase shell进入可以使用whoami命令可查看当前用户hbase(main)> whoam...原创 2018-05-11 10:32:15 · 1486 阅读 · 0 评论 -
HBase可用于管理、分析、修复和调试的自带工具hbck,hfile和数据备份与恢复介绍
HBase自带的很多工具可用于管理、分析、修复和调试,这些工具一部分的入口是hbase shell 客户端,另一部分是在hbase的Jar包中。目录:hbck hfile 数据备份与恢复 Snapshots Replication Export CopyTable HTable API Offline backup of HDFS data hbck:h...转载 2018-08-13 16:38:45 · 2695 阅读 · 0 评论