阿里云服务器安装hadoop-2.7.7

阿里云服务器安装hadoop-2.7.7

安装之前，需要先安装jdk，我安装的是jdk1.8.0_201,查看 jdk 输入

java -version

下载hadoop-2.7.7

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

执行下面命令(复制的路径根据自己的需要改动)

tar -zxf hadoop-2.7.7.tar.gz

cp -r hadoop-2.7.7 /root/hadoop/

创建文件目录

cd /root/hadoop

mkdir -p tmp/dfs/data

cd tmp/dfs/

mkdir name

mkdir namesecondary

修改配置文件

vim /etc/profile

添加以下内容：

export HADOOP_HOME=/root/hadoop/hadoop-2.7.7
export PATH=$HADOOP_HOME/bin:$PATH

保存后输入

source /etc/profile

 更新配置文件

再输入

hadoop   

有输出类似以下内容则配置成功

 

继续配置Hadoop

cd /root/hadoop/hadoop-2.7.7/etc/hadoop/

依次修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml以及slaves文件。

修改core-site.xml

vim core-site.xml

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://内网IP:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/root/hadoop/hadoop-2.7.7/tmp</value>
                <description>location to store temporary files</description>
        </property>
</configuration>

注意：hadoop.tmp.dir的value填写对应前面创建的目录

修改hdfs-site.xml

vim hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

修改 mapred-site.xml

vim mapred-site.xml

<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>


</configuration>

修改yarn-site.xml

vim yarn-site.xml

</configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>内网IP地址</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>3072</value>
        </property>

</configuration>

修改hadoop-2.7.7/etc/hadoop/slaves

vim /root/hadoop/hadoop-2.7.7/etc/hadoop/slaves

将原来的localhost删除，改成内网IP地址

启动hadoop

cd /root/hadoop/hadoop-2.7.7/sbin/

./start-all.sh

然后出现了这个错误：

 Error: JAVA_HOME is not set and could not be found.

 vim /root/hadoop/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

将语句      export JAVA_HOME=$JAVA_HOME    

修改为      export JAVA_HOME=/usr/java/jdk1.8.0_201

保存后退出。（上面是你jdk的路径），再试一次

cd /root/hadoop/hadoop-2.7.7/sbin/

./start-all.sh

启动过程中，要输入的密码就是你服务器的登录密码

最后输入jps查看，输出内容如下

jps

则说明安装启动成功

 

参考资料

https://www.jianshu.com/p/ddba8a269549

https://blog.csdn.net/xueqinna/article/details/77688185