Hadoop 2.7.5 伪分布式搭建

 
 


关闭防火墙

由于hadoop中的程序都是网络服务，需要监听端口，这些端口默认会被linux防火墙挡住。因此要把hadoop中的端口一个个打开，或者把防火墙关掉。由于都是内网，所以关掉就好了。

sudo firewall-cmd --state 查看防火墙状态
sudo systemctl stop firewalld.service 关闭防火墙
再次查看状态，看到已经关闭了。但在下一次开机时还会自启动，因此 
sudo systemctl disable firewalld.service 禁止开机时防火墙自启。

配置免密登录


 
 
安装ssh 

$ sudo yum install openssh-clients
$ sudo yum install openssh-server



 
 
配置ssh

$ cd ~/.ssh/                     # 若没有该目录，请先执行一次ssh localhost
$ ssh-keygen -t rsa              # 会有提示，都按回车就可以
$ cat id_rsa.pub >> authorized_keys  # 加入授权
$ chmod 600 ./authorized_keys    # 修改文件权限



 
 
免密登录

$ ssh localhost


配置JDK环境

下载tar.gz解压到/usr/local/java目录下
添加环境变量

export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin


执行source /etc/profile
执行java -version 检查是否成功安装

配置Hadoop

下载Hadoop 解压到/usr/local
重命名mv 解压文件夹名称 hadoop
最终在/etc/profile配置如下

export JAVA_HOME=/usr/local/java/jdk1.8.0_161
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:$PATH



 
 
修改core-site.xml

在configuration标签中添加如下属性

 <configuration>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
 <property>
   <name>fs.defaultFS</name>
   <value>hdfs://127.0.0.1:9000</value>
 </property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
 <property>
   <name>hadoop.tmp.dir</name>
   <value>/usr/local/hadoop/data</value>
 </property>
</configuration>




 
 
修改hdfs-site.xml 
在configuration标签中添加如下属性

<configuration>
 <!-- 指定HDFS副本的数量 -->
 <property>
   <name>dfs.replication</name>
   <value>1</value>
  </property>
</configuration>



 
 
修改mapred-site.xml 
在configuration标签中添加如下属性

<configuration>
  <!-- 指定mr运行在yarn上 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>



 
 
修改yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
 <!-- 指定YARN的老大（ResourceManager）的地址 -->
 <property>
   <name>yarn.resourcemanager.hostname</name>
   <value>hadoop01</value>
 </property>
 <!-- reducer获取数据的方式 -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
 <!--使能够通过windows访问8088端口-->
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>192.168.1.105:8088</value>
   </property>
</configuration>


启动Hadoop


 
 
执行hdfs namenode -format命令 格式化
启动hdfs start-dfs.sh
在浏览器输入地址 http://虚拟机IP:50070访问hdfs
启动yarn start-yarn.sh
http://虚拟机IP:8088/cluster

查看原文：http://blog.democpp.cn/2018/03/24/hadoop-2-7-5-%e4%bc%aa%e5%88%86%e5%b8%83%e5%bc%8f%e6%90%ad%e5%bb%ba/