![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HBase
小萌猿
本人的所有文章仅代表个人想法与经验,有问题的地方望多多指教
展开
-
MapReduce处理HBase出错:XXX.jar is not a valid DFS filename
原因:Hadoop文件系统没有检查路径时没有区分是本地windows系统还是Hadoop集群文件系统 解决: 只需将Map和Reduce的init方法最后一个参数(boolean addDependencyJars)设为false(默认为true)...原创 2018-03-16 18:00:46 · 7583 阅读 · 0 评论 -
HBase数据模型
HBase简介 – HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 – 主要用来存储非结构化和半结构化的松散数据(列存 NoSQL 数据库) 数据模型: 在使...原创 2018-03-13 11:17:05 · 2945 阅读 · 0 评论 -
HBase体系架构
Client • 包含访问HBase的接口并维护cache来加快对HBase的访问 Zookeeper • 保证任何时候,集群中只有一个master • 存贮所有Region的寻址入口。 • 实时监控Region server的上线和下线信息。并实时通知Master • 存储HBase的schema和table元数据 Master • 为Region server分配regio...原创 2018-03-13 11:57:13 · 2262 阅读 · 0 评论 -
HBase启动错误
HBase集群:node1,node6,node7,node8 node1和node8是master,其中node8是backup,四台机器都是RegionServer,但是启动后通过Web页面只能查看到两台RegionServer:node1和node8 查看node6的日志:hbase-root-regionserver-node6.log,发现: 发现错因:机器之间的时间差异超...原创 2018-04-06 16:00:23 · 2907 阅读 · 0 评论 -
Hbase整合MapReduce两个注意的地方
一、通过javaAPI插入数据到HBase时,HBase里scan出来的数据乱码,如下代码:Put put = new Put(Bytes.toBytes(key.get()));我这里的key是Map阶段的输入key,格式为LongWritable,插入数据后,Hbase对应表的rowkey出现了乱码。 解决方法:Put put = new Put(Bytes.toBytes(...原创 2018-09-15 17:39:12 · 1972 阅读 · 0 评论 -
namenode格式化遇到的几个问题
1、Call From node1/192.168.245.151 to node6:8485 failed on connection8485端口是journalnode的端口, 就是说连接不上journalnode,所以在几个journalnode节点分别执行hadoop-daemon.sh start journalnode打开即可2、启动Hbase时Hmaster进程报错: org.a...原创 2018-11-20 17:30:06 · 2876 阅读 · 0 评论 -
HRegionServer启动报错
如上错误,原因:Hbase集群节点时间不一致。所以同步节点时间即可。这里可以使用ntpd服务,具体操作可参照我的另一篇博客集群时间同步关于HBase集群节点时间不一致导致的启动错误,之前也遇到过,不过报的错误不一样,这篇博客错误说的就比较明显了。明确告诉了我们,节点时间差异导致出错。Tips:以后记住,启动集群的第一件事情,就是同步各节点时间,避免不必要的错误耽搁时间。...原创 2018-12-05 23:42:46 · 1002 阅读 · 0 评论