华为云云耀云服务器L实例评测｜伪分布式环境下部署hadoop2(1)

FinalShell连接服务器

在FinalShell工具中，填写服务器弹性公网IP地址、账号密码信息，ssh连接远程服务器。

二、搭建Hadoop单机版本

详细安装步骤如下：

我们先开始配置java环境

首先下载java的jdk

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

然后解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

移动位置并且配置java路径

mv java-se-8u41-ri/ /usr/java8
echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

检查是否安装成功

java -version

这是理想情况，若安装成功会出现如下结果

hadoop2.x

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

配置地址

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile

配置yarn和hadoop

echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

查看Hadoop 安装情况

hadoop version

若出现上图情况，则说明安装成功

接下来需要利用vim来操作core-site 和 hdfs-site

vim /opt/hadoop/etc/hadoop/core-site.xml

进入vim环境

按下i（insert）修改

光标移动至configuration之间，复制如下的信息

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

然后按下esc，停止修改，然后打":wq"（实际无“”）退出vim修改

同理操作hdfs-site

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

配置master和slave连接，运行如下指令，并且一直回车，直至出现如下图

ssh-keygen -t rsa 

启动Hadoop

hadoop namenode -format
start-dfs.sh
start-yarn.sh

输入密码

踩坑：

ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation



![img](https://img-blog.csdnimg.cn/img_convert/88d5275968d9cf847531069a4d8b27db.png)
![img](https://img-blog.csdnimg.cn/img_convert/1c3e680e3db0a26789084b052eeb1140.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

-1714289551645)]

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**