- 博客(2)
- 收藏
- 关注
原创 HDFS高可用
以下: NN : NameNode SNN : SecondaryNameNode JN : JournalNode ZKFC : ZKFailoverController Hadoop 2.0之前,集群中只能有一个NN节点,这带来了两个问题: 1:单点故障(虽然可以用SNN来恢复,但是数据量大的情况下恢复过程缓慢) 2:集群维护、软件版本升级困难 Hadoop 2
2016-04-19 10:32:48 608
原创 Hadoop、Hive 参数说明
最近在用破机器跑mapreduce任务,部署的是社区版hadoop,参数都要手动调整。虽然hadoop已经火了很久了,但是网上关于参数的介绍基本都处于’语焉不详’的状态,大部分还都是无责任转载,哪个版本都有。这个帖子记录一下最近调参数对mapreduce任务的影响,结合hadoop官方文档,尽量对涉及到的参数有比较正确详细的解释。 这篇文章随着研究的深入些,随时更新Hadoop参数hadoop-e
2016-04-07 14:51:07 1790
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人