![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop运维
文章平均质量分 80
三劫散仙
唯有学习,可以解忧
展开
-
记一次hadoop磁盘空间满的异常
[b][color=green][size=large]本事故,发生在测试的环境上,虽然不是线上的环境,但也是一次比较有价值的事故。起因:公司里有hadoop的集群,用来跑建索引,PHP使用人员,调用建索引的程序时,发现MapReduce集群启动不起来了,报IOException异常,具体的异常没有记录,大致的意思就是磁盘空间满了,导致创建文件失败!下面散仙模拟当时的环境,...2014-07-14 18:27:06 · 997 阅读 · 0 评论 -
Hadoop1.2.0的DataNode启动失败异常
[b][color=green][size=large]在配置hadoop1.x的集群时,如果我们在hdfs-site.xml里面,如果明确指定了dfs的路径,需要设置下dfs.data.dir的权限,下面是散仙在Hadoop1.2.0里面的配置:[/size][/color][/b][code="xml"]dfs.replication1dfs.name.dir...2014-07-16 14:38:32 · 153 阅读 · 0 评论 -
hadoop升级小记
[b][color=green][size=large]迎合技术发展,公司最近需要对原有的hadoop进行升级操作,升级前的hadoop为1.2.1的版本,升级后的hadoop为hadoop2.2.0的版本,下面散仙总结下升级心得:(1)hadoop的hdfs系统,支持不同的hadoop版本之间的数据平滑过渡,比如可以直接将Hadoop1.x的数据,升级到hadoop2.x的HDFS上,能...2014-07-21 15:54:11 · 233 阅读 · 0 评论 -
hadoop升级之fsck命令迎战miss block警告
[size=large]继上次升级hadoop完毕后,集群启动正常,但是在访问Namenode的50070的界面上,发现了如下截图的警告信息: [/size][img]http://dl2.iteye.com/upload/attachment/0099/3811/ef2a4650-2939-3697-a7b3-c300c9a9364d.jpg[/img][size=large]如上异...2014-07-21 16:49:43 · 426 阅读 · 0 评论 -
Storm组件介绍
[size=medium](1)Topologies 拓扑解释:拓扑类似一个集装箱,所有的货物都会存储在集装箱里面最后被托运走,storm里面所有的代码和文件最终会被打包在一个拓扑中,然后提交在storm集群中运行,类似于Hadoop中的一个MapReduce的作业,最大的区别在于MapReduce最终会主动停止,Storm的Topologies不会主动停止,除非你强制kill...2016-08-12 20:28:36 · 141 阅读 · 0 评论 -
Hadoop集群搭建完毕后,如何测试是否正常工作?
最近,要在沙箱的环境装一个hadoop的集群,用来建索引所需,装hadoop已经没啥难的了,后面,散仙会把重要的配置信息,贴出来,本次装的hadoop版本是hadoop1.2的版本,如果不知道怎么装的,可以参考[url=http://qindongliang.iteye.com/blog/1964852]这篇文章[/url],安装的具体步骤,散仙在这里不在重述,重点在于hadoop-nd,hado...2014-10-28 16:25:21 · 3243 阅读 · 0 评论 -
Hadoop2.2内存调优
[b][color=green][size=large]今天散仙写了个MapReduce作业,目的是读数据库里面多个表的数据,然后在JAVA中根据具体的业务情况做过滤,并把符合数据的结果写入到HDFS上,在Eclipse里面提交作业进行调试的时候,发现在Reduce阶段,总是抛出Java heap space的异常,这异常明显,就是堆内存溢出造成的,然后散仙仔细看了下业务块的代码,在Reduce里...2014-11-05 21:45:22 · 131 阅读 · 0 评论