1. 运行环境配置
通过Xftp、Winscp等将Hadoop jar包上传上传至虚拟机,执行tar -zxvf jar_name -C 指定安装目录
(ps:Hadoop安装前应安装好java)
1.关闭防火墙
关闭防火墙:systemctl stop firewalld.service
禁用防火墙:systemctl disable firewalld.service
查看防火墙:systemctl status firewalld.service
2.修改IP
a.配置ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
BOOTPROTO=static <!--修改-->
ONBOOT=yes
IPADDR=192.168.X.51<!--修改为自己虚拟机ip-->
GATEWAY=192.168.X.2<!--修改为自己虚拟机网关-->
DNS1=8.8.8.8
DNS2=8.8.4.4
NETMASK=255.255.255.0
vi /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4
重启网卡:servie network restart
b.ip和主机名关系映射
vi /etc/hosts
192.168.X.51 主机名(虚拟)
在windows的C:\Windows\System32\drivers\etc路径下找到hosts并添加
192.168.X.51 主机名(虚拟)
2.Hadoop各文件配置(core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml)
- hadoop安装文件夹下/etc/hadoop/core-site.xml ,在
内添加配置信息
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名1:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.X.X/data/tmp</value>
</property>
</configuration>
- hdfs-site.xml:位置同上
<configuration>
<!--数据冗余数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--secondary的地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>主机名1:50090</value>
</property>
<!--关闭权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
- yarn-site.xml
<configuration>
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>主机名1</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天(秒) -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>
- mapred-site.xml
</configuration>
<!-- 指定mr运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>主机名1:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>主机名1:19888</value>
</property>
</configuration>
hadoop-env.sh、yarn-env.sh、mapred-env.sh
(分别在这些的文件中添加下面的路径):export JAVA_HOME=/opt/software/jdk1.8.0_144
(注:是自己安装的路径)- 格式化Namenode:
hdfs namenode -format
单机分布式就配置好了