hadoop3.x安装

• Hadoop伪分布式搭建
  • 1.创建hadoop用户
  • 2.更新apt
  • 3.安装SSH、配置SSH无密码登陆
  • 4.安装java环境
  • 5.安装Hadoop3.1.3
  • 6.hadoop伪分布式配置
    • 6.1修改core-site.xml文件
    • 6.2修改hdfs-site.xml文件
    • 6.3NameNode格式化
    • 6.4NameNode和DataNode守护进程开启并判断是否启动成功

Hadoop伪分布式搭建

1.创建hadoop用户

sudo useradd -m hadoop -s /usr/bash //创建hadoop用户
sudo passwd hadoop //设置hadoop密码
sudo adduser hadoop sudo //为hadoop用户增加管理员权限

注销当前用户，使用hadoop用户登入

2.更新apt

sudo apt-get update

3.安装SSH、配置SSH无密码登陆

sudo apt-get install openssh-server
ssh localhost

exit
cd ~/.ssh/
ssh-keygen -t rsa  
cat ./id_rsa.pub >> ./authorized_keys

有提示直接回车，然后再次ssh localhost

4.安装java环境

需要下载JDK1.8版本以上

cd /usr/lib
sudo mkdir jvm #创建/usr/lib/jvm
cd ~ 
cd Downloads  
sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm  

JDK文件解压缩后可以查看

cd /usr/lib/jvm
ls

然后设置环境变量

cd ~
vim ~/.bashrc

添加以下内容在文件开头,保存并退出

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使配置生效，检查是否安装成功

source ~/.bashrc
java -version

出现以下内容则安装成功

5.安装Hadoop3.1.3

在hadoop官网下载
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.3/hadoop-3.1.3.tar.gz

安装Hadoop

sudo tar -zxf ~/Downloads/hadoop-3.1.3.tar.gz -C /usr/local   
cd /usr/local/
sudo mv ./hadoop-3.1.3/ ./hadoop        
sudo chown -R hadoop ./hadoop 

检查是否安装成功

cd /usr/local/hadoop
./bin/hadoop version

成功安装会输出以下内容

6.hadoop伪分布式配置

Hadoop 的配置文件位于/usr/local/hadoop/etc/hadoop/中

6.1修改core-site.xml文件

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

6.2修改hdfs-site.xml文件

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

6.3NameNode格式化

cd /usr/local/hadoop
./bin/hdfs namenode -format

6.4NameNode和DataNode守护进程开启并判断是否启动成功

cd /usr/local/hadoop
./sbin/start-dfs.sh
jps

jps输出内容如下则启动成功

在浏览器查看localhost:9870