centos7 安装hadoop 3.2.1

配置主机名

vi /etc/sysconfig/network
添加下列内容，保存并关闭
NETWORKING=yes
HOSTNAME=你的主机名称

vi /etc/hosts
添加下列内容，保存并关闭
你的ip 你的主机名

然后需要重启reboot才能生效

设置ssh免密登录

一次执行下列命令
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
**如果提示找不到命令自行百度安装ssh

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 0600 ~/.ssh/authorized_keys

安装hadoop

将hadoop 的linux版本安装包放在自己的文件夹下（可以自己自定义文件夹）
cd /data/software/hadoop/
ls

这里有相关资源可以下载：https://blog.csdn.net/qq_38892122/article/details/104943760

解压
tar -zxvf hadoop-3.2.1.tar.gz

解压完成后进入解压文件的/etc/hadoop/目录下，修改hadoop环境配置
cd hadoop-3.2.1/etc/hadoop/
ls

编辑hadoop-env.sh
vi hadoop-env.sh

将以下内容添加到文件末尾中（替换成你自己的java安装目录），保存退出
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64

继续修改配置文件
vi core-site.xml
在<configuration>中添加以下内容，保存退出.

   <property>
            <name>fs.defaultFS</name>
            <value>hdfs://fycc:9000</value>
    </property>

vi hdfs-site.xml
在<configuration>中添加以下内容，保存退出.

    <property>
            <name>dfs.replication</name>
            <value>1</value>
    </property>

vi mapred-site.xml
在<configuration>中添加以下内容，保存退出.

    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
	<property>
    		<name>mapreduce.admin.user.env</name>
    		<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
 </property>
 <property>
   		 <name>yarn.app.mapreduce.am.env</name>
    		<value>HADOOP_MAPRED_HOME=$HADOOP_COMMON_HOME</value>
	</property>

vi yarn-site.xml
在<configuration>中添加以下内容，保存退出.

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

修改配置文件，把hadoop安装目录配置到环境变量中
vi /etc/profile

在文件末尾添加以下内容

HADOOP_HOME=/data/software/hadoop/hadoop-3.2.1
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

让配置文件生效
source /etc/profile

格式化NameNode
在任意目录下执行命令
hdfs namenode - format 或者 hadoop namenode -format

启动hadoop进程
./start-dfs.sh

启动失败，hadop的 sbin路径下修改
vi start-dfs.sh
在文件头部添加以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

vi stop-dfs.sh
在文件头部添加以下内容
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在start-yarn.sh，stop-yarn.sh顶部也需添加以下：
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

再次启动 ./start-dfs.sh

启动Yarn
./start-yarn.sh

启动之后在任意目录下执行jps命令验证进程是否正常启动