超级详细超级简单助你搭建hadoop分布式集群

资源链接

点击进入资源下载链接，很齐全

安装Centos6.5:（超详细）

点击链接进入查看安装Centos6.5全过程

Centos6.5虚拟机网络配置及克隆2台服务器（超详细）

点击进入查看详细配置修改过程

安装java

将java压缩包解压：
tar -zxvf jdk-8u191-linux-x64.tar.gz
在/etc/profile文件里添加jdk路径：

export JAVA_HOME=/app/jdk1.8.0_191
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JRE_HOME=$JAVA_HOME/jre

让配置生效：
source /etc/profile
jdk安装成功

安装配置hadoop

解压：hadoop包
tar -zxvf hadoop-2.6.4.tar.gz

将HADOOP_HOME导出 vim /etc/profile

export JAVA_HOME=/app/jdk1.8.0_191
export HADOOP_HOME=/app/hadoop-2.6.4
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export JRE_HOME=$JAVA_HOME/jre

需要配置的文件的位置为/usr/local/hadoop-2.7.7/etc/hadoop，需要修改的有以下几个文件：
hadoop-env.sh 添加jdk的环境变量

yarn-env.sh 添加jdk的环境变量

core-site.xml
添加下面配置文件

<configuration>
        <property>
                <!-- NameNode URI -->
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <!-- SequenceFiles中使用的读/写缓冲区的大小-->
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <!-- temp目录需要自己创建 -->
                <value>file:/app/hadoop-2.6.4/temp</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

hdfs-site.xml
添加下面配置文件

<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <!-- 根据自己的主节点修改-->
                <value>master:9001</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <!-- 创建namenode的目录-->
                <value>file:/app/hadoop-2.6.4/namenode</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <!-- 创建datanode的目录-->
                <value>file:/app/hadoop-2.6.4/datanode</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <!-- 副本数量-->
                <value>2</value>
        </property>
        <property>
                <name>dfs.webhdfs.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
        <property>
                <name>dfs.web.ugi</name>
                <value>supergroup</value>
        </property>

</configuration>

mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>master:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>master:8030</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>master:8031</value>
        </property>
        <property>
                <name>yarn.resourcemanager.admin.address</name>
                <value>master:8033</value>
        </property>
        <property>
                <name>yarn.resourcemanager.webapp.address</name>
                <value>master:8088</value>
        </property>
</configuration>

slaves
修改为：

slave01
slave02

scp -r hadoop-2.6.4 root@slave01:/app/
scp -r hadoop-2.6.4 root@slave02:/app/

格式化namenode(第一次安装)

./bin/hdfs namenode -format
successfully formatted表示格式化成功

启动hadoop：

[root@master sbin]# sh start-all.sh
查看进程 jps



进入master:50070查看hdfs

进入yarn: master:8088 查看yarn资源情况

一个分布式的hadoop集群安装完毕，如果有问题，欢迎评论讨论