linux centos7下Hadoop3.1.2配置和启动记录_查看虚拟机是否安装hadoop-CSDN博客

本文链接：https://blog.csdn.net/jquery_learn/article/details/126727721

前置1：配置好java

vim /etc/profile
#java
export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
export PATH JAVA_HOME CLASSPATH

前置2：主机映射配置，配置后要重启（虚拟机为centos7）

设置自己的主机名

vim /etc/hostname，将localhost改成hadoop100

配置IP-主机名映射

vim /etc/hosts

#ip地址   主机名/域名   （主机别名）
192.168.10.100 hadoop100

vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=hadoop100
重启：reboot

前置3：安装SSH服务

#root账号登录安装SSH
yum install -y openssl openssh-server
yum install rsync

#root账户修改配置文件，去掉permitrootlogin前面的注释
vim /etc/ssh/sshd_config

#启动SSH服务： 
systemctl start sshd.service
#设置SSH开机自启动：
systemctl enable sshd.service

（rsync是一个远程数据同步工具，可通过LAN/WAN快速同步多台主机间的文件，分布式部署需要）

1、配置Hadoop

1.1 进入配置目录，命令：cd /opt/hadoop/etc/hadoop

1.2 修改Hadoop配置文件 core-site.xml

命令：vim core-site.xml

键盘输入i进入编辑状态，在<configuration></configuration>节点内插入如下内容

<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/hadoop/tmp</value>
<description>location to store temporary files</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9000</value>
</property>

操作esc,输入:wq，退出编辑并保存

1.3 修改Hadoop配置文件 hdfs-site.xml

(初始配置没加最后一项，导致9870无法访问，需要配置最后一项)

同路径下，输入命令：vim hdfs-site.xml

键盘输入i进入编辑状态，在<configuration></configuration>节点内插入如下内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/opt/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/opt/hadoop/tmp/dfs/data</value>
</property>

<name>dfs.http.address</name>

</property>
操作esc,输入:wq，退出编辑并保存

1.3 配置 mapred-site.xml，在<configuration></configuration>节点内插入如下内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

1.4 配置 yarn-site.xml，在<configuration></configuration>节点内插入如下内容

（起初搭建只配置了前两项内容，启动后8088不能访问）

<property>
<name>yarn.resourcemanager.hostname</name>
<value>xxxx</value> 
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>0.0.0.0:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>0.0.0.0:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>0.0.0.0:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>0.0.0.0:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>0.0.0.0:8088</value>
</property>

2、配置SSH免密登录（分布式）

2.1 切换目录，命令：cd ~

2.2 执行命令，创建公钥和私钥 ssh-keygen -t rsa，根据提示一路回车，再切换至路径 cd .ssh，然后输入命令： cat id_rsa.pub >> authorized_keys，将公钥添加到authorized_keys文件中

由此生成一个私钥和一个公钥，存储在/root/.ssh/目录下(目录实际情况按自己的来)

2.3 主机与节点之间的免密登录

#登录主机hadoop100
scp id_rsa.pub hadoop@hadoop101:/opt/hadoop/
#登录节点机器hadoop101
cat id_rsa.pub >> ~/.ssh/authorized_keys
##登录主机hadoop100测试免密登录hadoop101
 ssh hadoop101

3、切换路径 cd ~，vim /etc/profile,在环境变量中添加下面的配置，编辑完成保存后，输入命令source /etc/profile，使配置生效

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

4、启动Hadoop

切换到目录 cd /opt/hadoop/bin，然后输入命令：hadoop namenode -format，初始化namenode（如果有提示选择y/n,输入y）。

切换到cd /opt/hadoop/sbin，然后输入命令：start-dfs.sh，然后输入命令：start-yarn.sh，再输入jps查看，如下图的6个进程