![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
冽夫
这个作者很懒,什么都没留下…
展开
-
Spark读写HBase之使用Spark自带的API以及使用Bulk Load将大量数据导入HBase
1. 需要的jar包依赖<properties> <spark.version>2.3.0</spark.version> <hbase.version>1.2.6</hbase.version> <scala.main.version>2.11</scala....转载 2019-12-16 11:54:42 · 402 阅读 · 0 评论 -
在win中用MapReduce处理HBase出错:XXX.jar is not a valid DFS filename
原因:Hadoop文件系统检查路径时没有区分是本地windows系统还是Hadoop集群文件系统解决:只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true)参考:https://www.iteye.com/blog/zy19982004-2029740还有一个神仙解答:https://blog.csdn...转载 2019-12-12 22:34:55 · 355 阅读 · 0 评论 -
Permission denied: user=, access=WRITE, inode="/user":root:supergroup:drwxr-xr-x
win10-IDEA连接hbase进行操作产生如题错误解决办法:保险起见,再到hadoop 的hdfs-site文件中添加以下内容,关闭权限检查 ,即解决了上述问题。<property> <name>dfs.permissions</name> <value>false</value>...原创 2019-12-12 22:31:19 · 595 阅读 · 0 评论 -
HBase shell 命令介绍
HBase shell是HBase的一套命令行工具,类似传统数据中的sql概念,可以使用shell命令来查询HBase中数据的详细情况。安装完HBase之后,如果配置了HBase的环境变量,只要在shell中执行hbase shell就可以进入命令行界面,HBase的搭建可以参考我的上一篇文章:hbase分布式集群搭建HBase介绍HBase简介HBase的名字的来源于Hadoop d...转载 2019-12-03 17:36:05 · 197 阅读 · 0 评论 -
JAVA操作HBase过滤器
HBase中可以根据Filter进行高效过滤,基于Hbase本身提供的三维有序(主键有序、列有序、版本有序),这些Filter可以高效的完成查询过滤的任务。带有Filter条件的RPC查询请求会把Filter分发到各个RegionServer,是一个服务器端(Server-side)的过滤器,这样也可以降低网络传输的压力。 要使用过滤器完成一个过滤的操作,至少需要两个参数。一个是抽象的操作符...原创 2019-12-03 17:31:15 · 920 阅读 · 0 评论 -
HBase的RowKey设计
https://www.cnblogs.com/duanxz/p/4660784.htmlhttps://www.cnblogs.com/zlzhoulei/p/5594773.html原创 2019-11-19 15:28:56 · 141 阅读 · 0 评论 -
org.apache.hadoop.hbase.regionserver.NoSuchColumnFamilyException: Column family table does not exist
Column family table does not exist in region hbase:meta出错原因: HBase 客户端的依赖 Jar 包版本和集群服务器上的版本不一样。集群上是 1.2.6,客户端 POM 依赖的是 2.X。...原创 2019-11-17 22:08:34 · 7739 阅读 · 0 评论 -
使用BulkLoading将数据导入HBase
https://www.jianshu.com/p/7e05a223c18chttps://blog.csdn.net/lrxcmwy2/article/details/81592001https://blog.csdn.net/opensure/article/details/47054861?utm_source=blogxgwz9https://blog.csdn.net/che...转载 2019-11-13 22:33:39 · 137 阅读 · 0 评论 -
HBase的架构
1、整体架构2、HBase中涉及的角色及每个角色的具体功能2.1 HMaster2.2 RegionServer2.2.1 保证高可靠性的WAL2.3 zookeeper2.3.1 客户端连接RS3、RS内部剖析3.1 Region3.2 Store3.2.1 memstore3.2.2 HFile1、整体架构· HMaster ...原创 2019-11-12 18:40:43 · 116 阅读 · 0 评论 -
hbase全分布式环境的搭建
目录1、准备安装包并配置环境变量2、对hbase的配置文件进行编辑2.1 hbase-env.sh2.2 hbase-site.xml2.3 regionservers2.4 backup-masters3、Hadoop的两个配置文件拷到hbase的conf目录下4、scp到slave1和slave25、启动hadoop和hbase6、jps查看进程1、...原创 2019-11-04 11:38:44 · 122 阅读 · 0 评论 -
HBase如何识别HMaster
如果不在配置文件(hbase-site)中指定master那么在哪台机器上执行./hbase/bin/start-hbase.sh,哪台机器就会被认为是HMaster。配置文件指定master参考下图:原创 2019-10-29 15:45:50 · 1334 阅读 · 3 评论 -
VM三台虚拟机搭建的HBase在启动后的30s内会有部分进程自动消失
最后的解决办法:三台虚拟机的防火墙都进行关闭。因为已经配置了ssh,按理说防火墙不用关也是可以的。Hadoop集群就能在防火墙开启的状态下成功启动。但HBase不行,但把三台虚拟机的防火墙关了HBase的进程就不会自动消失了。...原创 2019-10-19 20:43:10 · 253 阅读 · 0 评论