Centos7安装Hadoop教程

一：安装SSH

1，执行下面的命令安装ssh

yum install openssh-clients 

yum install openssh-server

 2，执行如下命令测试一下 SSH 是否可用（SSH首次登陆提示 yes/no 信息，输入 yes 即可，然后按照提示输入 root 用户的密码，这样就登录到本机了），如下图所示。

3，执行以下命令

exit       # 退出刚才的 ssh localhost
cd ~/.ssh/      # 若提示没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa    # 会有提示，都按回车即可
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限

二：安装JDK

安装之前先检查一下系统有没有自带 open-jdk

命令：

rpm -qa |grep java
rpm -qa |grep jdk
rpm -qa |grep gcj

如果没有输入信息表示没有安装。

如果安装可以使用 rpm -qa | grep java | xargs rpm -e --nodeps  批量卸载所有带有 Java 的文件     这句命令的关键字是 java

首先检索包含 java 的列表

yum list java* 

检索 1.8的列表 

yum list java-1.8* 

安装 1.8.0的所有文件 

yum install java-1.8.0-openjdk* -y 

使用命令检查是否安装成功 

java -version 

修改/etc/profile文件，文件尾部增加以下内容

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$JAVA_HOME/bin:$PATH

使profile文件生效，执行下面的命令：

source  /etc/profile

三：安装和配置Hadoop

1，官网下载Hadoop安装包

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.1.2/hadoop-3.1.2.tar.gz

2，解压安装包（时间比较长）

tar zxvf hadoop-3.1.2.tar.gz

3，修改etc/hadoop/core-site.xml文件

<configuration>
	<!--  -->
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://内网IP地址:9000</value>
    </property>
	<!-- 缓存存储路径 -->
	<property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadooptemp</value>
    </property>
</configuration>

4，修改etc/hadoop/hdfs-site.xml文件

<configuration>
	<!-- 默认为3，由于是单机，所以配置1 -->
	<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
	<!-- 配置http访问地址 -->
	<property>
	  <name>dfs.http.address</name>
	  <value>0.0.0.0:9870</value>
	</property>
</configuration>

5，修改etc/hadoop/hadoop-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

备注：JAVA_HOME 一定要配置jdk的绝对路径

6，修改etc/hadoop/yarn-env.sh文件

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.212.b04-0.el7_6.x86_64

备注：JAVA_HOME 一定要配置jdk的绝对路径

7，修改sbin/stop-dfs.sh文件，在顶部增加

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root 

8，修改sbin/start-dfs.sh文件，在顶部增加

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root 

9，格式化，进入hadoop的bin文件夹，执行下面的命令

./hdfs namenode -format

10，进入sbin文件夹，启动hadoop

./start-dfs.sh

11，防火墙开启端口,如果用的云服务器，请将9870端口加入安全组出入口

//添加9870端口到防火墙
firewall-cmd --zone=public --add-port=9870/tcp --permanent
//重启防火墙
firewall-cmd --reload

12，查看jps，如果是4个或者5个就配置成功，再执行步骤13

13，通过web访问hadoop，访问地址：http://IP地址:9870