Hadoop生态圈
一个好人-leo
腾云驾雾靠大数
展开
-
不同集群之间Hbase数据备份
目的:从10.102.2.246上把Hbase里面数据备份到10.101.159.62的Hbase里面,并且这两台机器之间无法通信,因此采用最笨的办法解决问题。步骤:1、从246上把Hbase里面数据先拷贝到该节点的一个目录,拷贝到/oracle/hpdata/hbase-data.bak。我们知道由于配置文件hbase-site.xml里面写的hbase数据存放地方是hdfs:/原创 2016-08-03 16:57:41 · 936 阅读 · 0 评论 -
Hadoop2.x + eclipse 插件配置
搭建集群那些就不用说了,主要有几个关键的地方需要注意(自己的Hadoop版本是2.5.2)。0、插件hadoop-eclipse-plugin-2.5.2。自己去github或则什么地方下载,然后在自己电脑上编译好(我用的是Ant),编译好后放在eclipse安装目录的plugins目录下!1、mapred-site.xml增加以下内容:原创 2016-08-03 17:01:21 · 1104 阅读 · 0 评论 -
Storm UI界面上出现的Spout Failed 问题解决方案!!!
这个问题比较麻烦!定位了很久(至少花了我10天左右的时间)才解决此问题!出现此问题的原因是:spout在默认超时时间(30s)内发射出去的Tuple没有被bolt处理就会出现spout failed。尝试解决问题的过程:1、调整bolt的worker、executor、task数目,希望能够解决问题。结果失败!2、调整修改默认超时时间(topology.me原创 2016-08-03 17:11:31 · 3956 阅读 · 0 评论