ECS搭建伪分布式Hadoop

ECS搭建Hadoop环境
@[TOC]安装步骤

安装JDK

下载jdk安装包

wget https://download.java.net/openjdk/jdk8u41/ri/openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

解压

tar -zxvf openjdk-8u41-b04-linux-x64-14_jan_2020.tar.gz

将JDK安装包移动到usr目录下并重命名为Java8

mv java-se-8u41-ri/ /usr/java8

配置Java环境变量

echo 'export JAVA_HOME=/usr/java8' >> /etc/profile
echo 'export PATH=$PATH:$JAVA_HOME/bin' >> /etc/profile
source /etc/profile

echo ‘export JAVA_HOME=/usr/java8’ >> /etc/profile
输入之后报错bash: /etc/profile: Permission denied
原因：
profile文件不可写
解决方法:

sudo chmod 777 /etc/profile

查看Java版本
java -version

安装Hadoop

下载Hadoop安装包

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

解压压缩包并移动到opt/hadoop目录下

tar -zxvf hadoop-2.10.1.tar.gz -C /opt/
mv /opt/hadoop-2.10.1 /opt/hadoop

配置环境变量，修改Hadoop配置文件yarn-env.sh和hadoop-env.sh。

echo 'export HADOOP_HOME=/opt/hadoop/' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/bin' >> /etc/profile
echo 'export PATH=$PATH:$HADOOP_HOME/sbin' >> /etc/profile
source /etc/profile
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/yarn-env.sh
echo "export JAVA_HOME=/usr/java8" >> /opt/hadoop/etc/hadoop/hadoop-env.sh

执行hadoop version,成功返回版本信息即安装成功。

配置Hadoop

修改core-site.xml

vim /opt/hadoop/etc/hadoop/core-site.xml

进入编辑模式，插入以下内容

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

保存并退出
修改hdfs-site.xml

vim /opt/hadoop/etc/hadoop/hdfs-site.xml

插入

    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/opt/hadoop/tmp/dfs/data</value>
    </property>

配置ssh免密登录

因为之前一直使用普通用户，先切换为root

sudo su

ssh-keygen -t rsa

将公钥添加到authorized_keys文件中

cd .ssh
cat id_rsa.pub >> authorized_keys

启动Hadoop

初始化namenode

hadoop namonode -format

启动Hadoop

start-dfs.sh

start-yarn.sh

8088端口

50070端口