Hadoop
关注
分享
扫一扫
文章平均质量分 51
LoganMaaa
Java background development. I am working at IBM DaLian & still improving myself everyday. One day I will be a singular person.
展开
-
Hadoop的配置及启动【伪分布式】过程
参考原文：https://medium.com/@nidhinmahesh/getting-started-hadoop-mapreduce-hdfs-and-yarn-configuration-and-sample-program-febb1415f945（需要挂代理访问） apt (Advantage package tools) 伪分布式： NameNode：3.x 9870...翻译 2018-07-29 19:05:48 · 1101 阅读 · 0 评论 -
Hadoop 3.x slave file changed to '$HADOOP_HOME/etc/workers'
Thank you Google SE! Thank you official document! I am studiny Hadoop, but book and the video usually show the 2.x course. But I follow the most latest version 3.0.3. But I saw the stable version is 2...原创 2018-08-04 19:12:58 · 559 阅读 · 0 评论 -
HDFS 冗余数据块（Block）的自动删除
本文参考： https://www.jianshu.com/p/4e4316ae0e17 https://www.jianshu.com/p/5ef70a66019a 在日常维护Hadoop集群的过程中，发现一种情况（Block 默认3）：某节点由于网络故障或者DataNode进程的死亡，被NameNode判定为死亡（此时位2），HDFS马上自动开始数据块的容错拷贝（从2到3）。当该...转载 2018-08-02 10:22:24 · 1713 阅读 · 0 评论 -
Hadoop HA 和 MapReduce 学习笔记
一.NameNode上存储着最重要的文件（fsimage和edits文件），但是主从结构的，都存在单点故障问题。所以，需要配置HA高可用（Hight Availability）也不知道在哪看到有人写High Available...（笑声） 那么就需要控制其（产生和变化）一致性 fsimage edits fsimage 和 editslog ...原创 2018-08-11 22:15:42 · 363 阅读 · 0 评论