linux hadoop安装

上一篇：卸载openjdk，并重新安装JDK

目录

1、安装版本

2、安装ssh和pdsh

2.1、检查免密连接

2.2、公钥 私钥创建

3、安装JDK

4、安装hadoop3.3.0

4.1、下载并解压hadoop

4.2、编辑文件hadoop-env.sh，添加java_home设置：

4.3、编辑文件core-site.xml

4.4、编辑文件hdfs-site.xml

4.5、编辑文件hadoop-env.sh，添加HDFS用户

4.6、格式化文件系统

4.7、运行start-dfs.sh

4.8、管理页面查看

4.9、通过yarn在单节点中管理MapReduce任务

4.10、修改yarn配置

4.11、添加yarn用户

4.12、启动yarn

5、关闭防火墙

---

1、安装版本

JDK 1.8、hadoop 3.3.0

2、安装ssh和pdsh

ssh是hadoop安装的必需软件，pdsh是hadoop建议安装的软件。CentOS 7中已安装了openssh，可以通过下面的指令查看本机是否安装了ssh，及 ssh的运行状态。目前，我们还不需要配置ssh和pdsh，因此，只要满足hadoop的安装条件就可以了。

2.1、检查免密连接

ssh localhost

检查是否可以ssh到localhost，由于之前没有配置，应该是无法免密码连接的，会报如下信息：
localhost: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).

2.2、公钥 私钥创建

ssh-keygen -t rsa

然后yes，加一路回车

创建authorized_keys文件并修改权限为600

cd ~/.ssh
touch authorized_keys
chmod 600 authorized_keys

将公钥追加到authorized_keys文件中去

cat id_rsa.pub >> authorized_keys

再次测试 ssh localhost

3、安装JDK

卸载openjdk，并重新安装JDK

4、安装hadoop3.3.0

4.1、下载并解压hadoop

地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.3.0/

创建目录/data/install，把下载文件放到该目录，并解压

tar -zxvf hadoop-3.3.0.tar.gz

配置hadoop环境变量，vim /etc/profile 在文件末尾加上

export HADOOP_HOME=/data/install/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$PATH

刷新环境变量配置  source /etc/profile
查看hadoop版本, hadoop version

4.2、编辑文件hadoop-env.sh，添加java_home设置：

vim /data/install/hadoop-3.3.0/etc/hadoop/hadoop-env.sh，添加如下配置：

export JAVA_HOME=/service/software/java/jdk1.8.0_261

4.3、编辑文件core-site.xml

vim /data/install/hadoop-3.3.0/etc/hadoop/core-site.xml，配置如下

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://127.0.0.1:9000</value>
        </property>
</configuration>

4.4、编辑文件hdfs-site.xml

vim /data/install/hadoop-3.3.0/etc/hadoop/hdfs-site.xml，配置如下

<configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>

4.5、编辑文件hadoop-env.sh，添加HDFS用户

vim /data/install/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

4.6、格式化文件系统

/data/install/hadoop-3.3.0/bin/hdfs namenode -format

4.7、运行start-dfs.sh

cd /data/install/hadoop-3.3.0/sbin

./start-dfs.sh

4.8、管理页面查看

访问：http://192.168.174.132:9870/explorer.html#/（替换你自己的ip）(如果访问不了，关闭防火墙，文章最后有介绍)

创建目录：
hadoop fs -mkdir /resource

然后在上面的管理页面查看是否有文件目录出来

4.9、通过yarn在单节点中管理MapReduce任务

修改mapred-site.xml

vim /data/install/hadoop-3.3.0/etc/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>



    <property>
        <name>mapreduce.application.classpath</name>                                            
    <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
    </property>
</configuration>

4.10、修改yarn配置

vim /data/install/hadoop-3.3.0/etc/hadoop/yarn-site.xml​​​​​​​

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

4.11、添加yarn用户

vim /data/install/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

4.12、启动yarn

/data/install/hadoop-3.3.0/sbin/start-yarn.sh

页面查看：http://192.168.174.132:8088/cluster/（替换自己的ip）

5、关闭防火墙

永久关闭防火墙并重启

systemctl status firewalld

reboot

 

上一篇：卸载openjdk，并重新安装JDK