Hadoop 运行环境搭建
1、编辑
/etc/sysconfig/network-scripts/ifcfg-
ens33 文件修改ip地址和网关配置
![](https://img-blog.csdnimg.cn/20200717090833904.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0phdmFMTFU=,size_16,color_FFFFFF,t_70)
修改以上3个地方
注意:3是自己添加,添加时注意IPADDR前三位要和电脑IP地址前三位一样
![](https://img-blog.csdnimg.cn/20200717094407665.png)
网关和虚拟机的一样
![](https://img-blog.csdnimg.cn/20200717094513446.png)
编辑
/etc/resolv.conf文件添加如下网关配置
![](https://img-blog.csdnimg.cn/20200717094725661.png)
然后重启网卡
service network restart
2、禁用防火墙
禁用防火墙命令:
systemctl disable firewalld.service,输入命令可以查看一下是否成功
![](https://img-blog.csdnimg.cn/2020071708542739.png)
还需要修改/etc/selinux/config文件
![](https://img-blog.csdnimg.cn/20200717085712665.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0phdmFMTFU=,size_16,color_FFFFFF,t_70)
这样防火墙就禁用掉了
3、在
/etc/hosts 中设置主机ip映射关系
![](https://img-blog.csdnimg.cn/20200717085943942.png)
这里是我的ip地址和主机名(这里配置多台是为了后面搭集群,如果只有一台配置一个就可以)
4、安装JDK
伪分布式搭建
配置core-site.xml
<!-- 指定 HDFS 中 NameNode 的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata111:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/data</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://bigdata111:9000</value>
</property>
<!-- 指定 hadoop 运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.3/data</value>
</property>
配置hdfs-site.xml
<!--数据冗余数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--secondary 的地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata111:50090</value>
</property>
<!--关闭权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--secondary 的地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>bigdata111:50090</value>
</property>
<!--关闭权限-->
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
配置yarn-site.xml
<!-- reducer 获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata111</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天(秒) -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定 YARN 的 ResourceManager 的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>bigdata111</value>
</property>
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置 7 天(秒) -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
配置mapred-site.xml
<!-- 指定 mr 运行在 yarn 上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata111:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigbata111:19888</value>
</property>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<!--历史服务器的地址-->
<property>
<name>mapreduce.jobhistory.address</name>
<value>bigdata111:10020</value>
</property>
<!--历史服务器页面的地址-->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>bigbata111:19888</value>
</property>
在hadoop-env.sh、yarn-env.sh、mapred-env.sh最后添加JDK配置
export JAVA_HOME=/opt/module/jdk1.8.0_144
以上就把改配置的地方都配置完了,下面需要格式化和启动
执行hdfs namenode -format命令
![](https://img-blog.csdnimg.cn/20200715225943331.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0phdmFMTFU=,size_16,color_FFFFFF,t_70)
看到这个就说明成功了
执行start-all.sh 依次输入密码
在浏览器访问自己虚拟机的ip:50070地址验证是否成功
![](https://img-blog.csdnimg.cn/20200715231234240.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0phdmFMTFU=,size_16,color_FFFFFF,t_70)
打开页面显示正常就说明配置成功了