一、配置jdk环境
二、配置hadoop
1.进入/etc/profile文件
命令 vim /etc/profile
在文件中追加hadoop全局环境路径
export HADOOP_HOME=/export/servers/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
2.编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件添加三条环境变量配置(其实只需要添加第三条,因为前两条已经在/etc/profile里配置过了)稳妥还是三条怕执行顺序有时没有加载出来
export JAVA_HOME=/usr/local/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
退出执行命令重新加载source hadoop-env.sh
3.编辑Hadoop核心配置文件$HADOOP_HOME/etc/hadoop/core-site.xml
<configuration>
<!--用于设置Hadoop的文件系统,由URI指定-->
<property>
<name>fs.defaultFS</name>
<!--用于指定namenode地址在node01机器上-->
<value>hdfs://node01:9000</value>
</property>
<!--配置Hadoop的临时目录,默认/tmp/hadoop-${user.name}-->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/dev/hadoop/hadoop/tmp</value>
</property>
</configuration>
4.编辑HDFS配置文件 $HADOOP_HOME/etc/hadoop/hdfs-site.xml
<configuration>
<!--设置名称节点的目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/dev/hadoop/hadoop/tmp/namenode</value>
</property>
<!--设置数据节点的目录-->
<property>
<name>dfs.datanode.data.dir</name>
<value>/root/dev/hadoop/hadoop/tmp/datanode</value>
</property>
<!--设置辅助名称节点-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node01:50090</value>
</property>
<!--hdfs web的地址,默认为9870,可不配置-->
<!--注意如果使用hadoop2,默认为50070-->
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:9870</value>
</property>
<!--副本数,默认为3,可不配置-->
<property>
<name>dfs.replication</name>
<value>4</value>
</property>
<!--是否启用hdfs权限,当值为false时,代表关闭-->
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
</property>
</configuration>
5.编辑MapReduce配置文件 $HADOOP_HOME/etc/hadoop/mapred-site.xml
<configuration>
<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property></configuration>
6.编辑yarn配置文件 $HADOOP_HOME/etc/hadoop/yarn-site.xml
<configuration>
<!--配置资源管理器:集群node01-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node01</value>
</property>
<!--配置节点管理器上运行的附加服务-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--关闭虚拟内存检测,在虚拟机环境中不做配置会报错-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property><!-- Site specific YARN configuration properties -->
</configuration>
三、启动
1.格式化文件系统 只有第一次需要后续就不用,再用会格式化已有的数据
hdfs namenode -format
2.启动进入目录$HADOOP_HOME/sbin
start-all.sh