大数据dashuju
文章平均质量分 74
rumple
我追求生命的光芒,如暴风雨般猛烈的尘埃,消失在耳边。为挣扎在这城市中渺小的救赎而努力着。。。
展开
-
Hadoop环境搭建,以及mapreduce的使用
Hadoop2.5环境搭建 1. 解压安装Hadoop 命令: $ tar -zxf hadoop-2.5.0.tar.gz -C /opt/modules/配置Hadoop的JAVA支持(/etc/hadoop目录下) hadoop-env.sh mapred-env.sh yarn-env.sh在这3个文件中都配置 export JAVA_HOME=/opt/modul原创 2017-08-24 21:24:04 · 2141 阅读 · 0 评论 -
解决hadoop集群环境datanode无法启动的问题
问题描述:在集群模式下更改节点后,启动集群发现 datanode一直启动不起来。我集群配置:有3个节点,其中第三台的datanode没有启动其他均已经正常启动,利用 master:50070 , Live Nodes 为2, 随进入pc3:ssh pc3.hadoop, 输入命令 jps ,发现只有 没有DataNode。随后看日志上网查找解决方法,最后终于解决了原创 2017-08-29 20:20:48 · 1982 阅读 · 1 评论 -
Hadoop Ha集群配置
为什么要配置HDFS HA?首先:HDFS集群中NameNode 如果存在单点故障。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用.而影响HDFS集群不可用主要包括以下两种情况:一是NameNode机器宕机,将导致集群不可用,重启NameNode之后才可使用;二是计划内的NameNode节点软件或硬件升级,导致集群在短时间内不可原创 2017-09-27 23:24:18 · 364 阅读 · 0 评论