hadoop 2.7.5 安装CentOS 7.5 linux

环境：CentOS 7.5 ,JDK 1.8.0_231, python 2.7 ,python 3.7.5

1.下载：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz

2.上传目录：sftp方式：

3.解压：tar -zxvf hadoop-2.7.5.tar.gz

4.定义系统全局变量：

文件：/etc/profile

添加如下命令：

export HADOOP_PATH=/usr/local/src/hadoop-2.7.5

export PATH=$PATH:$HADOOP_PATH/bin:$HADOOP_PATH/sbin

生效：source /etc/profile

验证：hadoop

5.配置hadoop-env.sh

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

做如下修改：

export JAVA_HOME=/usr/local/src/jdk1.8.0_231
#export JAVA_HOME=${JAVA_HOME}

6.配置 hdfs-site.xml

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

添加项：

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/usr/local/src/hadoop-2.7.5/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.namenode.data.dir</name>
                <value>/usr/local/src/hadoop-2.7.5/tmp/dfs/data</value>
        </property>
</configuration>

7.配置 core-site.xml

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

添加项：

        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop-2.7.5/temp</value>
        </property>

创建临时文件夹：mkdir /usr/local/src/hadoop-2.7.5/temp

8.配置 mapred-site.xml

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

创建：cp mapred-site.xml.template mapred-site.xml

添加项：

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

9.配置yarn-site.xml

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

添加项：

       <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>

10.配置salves

路径：/usr/local/src/hadoop-2.7.5/etc/hadoop

添加项：

slave1
slave2

11.将配置分发到slave机器上

发送从机1：scp -r /usr/local/src/hadoop-2.7.5  slave1:/usr/local/src/

                     scp /etc/profile slave1:/etc/

发送从机2：scp -r /usr/local/src/hadoop-2.7.5  slave2:/usr/local/src/

                     scp /etc/profile slave2:/etc/

12.格式化namenode

命令：hdfs namenode -format

13.启动

命令： sh  /usr/local/src/hadoop-2.7.5/sbin/start-all.sh 或 /usr/local/src/hadoop-2.7.5/sbin/start-all.sh

验证：

master：

slave1：

slave2：

网页：http://192.168.52.130:50070/

 

程序验证：

创建hdfs目录：hadoop fs -mkdir /wordcount

                         hadoop fs -mkdir /wordcount/out

上传文件：hadoop fs -put wordcount.txt /wordcount

执行样例程序：hadoop jar /usr/local/src/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount  /wordcount/wordcount.txt /wordcount/out

注意：输出文件夹不可以存在，否则报错

验证结果：

hadoop fs -text /wordcount/out/part-r-00000

 

14.关闭Hadoop：/usr/local/src/hadoop-2.7.5/sbin/stop-all.sh

 

参考地址：https://www.cnblogs.com/Dcl-Snow/p/10825154.html