hadoop伪分布式搭建

Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式

单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。

伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当DataNode，或者说既是JobTracker又是TaskTracker。没有所谓的在多台机器上进行真正的分布式计算，故称为“伪分布式”。

完全分布式—— 真正的分布式，由3个及以上的实体机或者虚拟机组成的机群。一个Hadoop集群环境中，NameNode，SecondaryName和DataNode是需要分配在不同的节点上，也就需要三台服务器。

前两种模式一般用在开发或测试环境下，生产环境下都是搭建完全分布式模式。

接下来我们进行伪分布式配置.
一、配置免密登录

(1)配置hosts:配置host的作用是ssh登录机器时用hostname代替IP,在很多的集群环境中hostname比IP容易记的多,编辑/etc/hosts文件.配置需要登录机器IP和hostname,我这里配置机器是 192.168.127.23,hostname为hadoop05.

如果能ping通配置hostname则配置成功.

(2)配置免密登录
生成公钥和私钥对:ssh-keygen
将公钥对拷贝到目标服务器:ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop05
通过ssh主机名验证:ssh hadoop05

二、上传和解压JDK

(1)创建java文件目录

上传jdk安装包到 /usr/java/.在进行安装
安装命令: rpm -i jdk-8u111-linux-x64.rpm

(2)配置JDK,进入 vi /etc/profile

(3).让配置立即生效 source /etc/profile让配置立即生效

(4).java -version查看JDK版本信息,如显示这样证明成功.

三、上传和解压hadoop安装包

(1)创建hadoop文件目录
上传hadoop安装包到 /usr/hadoop/.在进行安装
通过命令 tar -xvf hadoop-2.9,2.tar.gz

(2)目录说明
bin目录：命令脚本
etc/hadoop:存放hadoop的配置文件
lib目录：hadoop运行的依赖jar包
sbin目录：启动和关闭hadoop等命令都在这里
libexec目录：存放的也是hadoop命令，但一般不常用

(4).配置hadoop-env.sh
这个文件主要写hadoop的环境变量,主要修改hadoop的java_home路径

进入/usr/hadoop/hadoop-2.9.2/etc/hadoop/ 执行:vi hadoop-env.sh

修改java_home路径和hadoop_conf_dir 路径

export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.9.2/etc/hadoop

修改后执行:source hadoop-env.sh

(5).修改core-site.xml
进入/usr/hadoop/hadoop-2.9.2/etc/hadoop/ 执行:vi core-site.xml

(6).修改hdfs-site.xml
进入/usr/hadoop/hadoop-2.9.2/etc/hadoop/ 执行:vi hdfs-site.xml

(6).修改mapred-site.xml
这个初始化时是没有的,有的是模板文件,mapred-site.xml.template
所以需要拷贝一份,并重新命名为mapred-site.xml

执行下面命令:

配置信息如下:

(7).修改yarn.site.xml
配置信息如下

四、配置slaves文件
执行命令 vi slaves

五、配置hadoop的环境变量

执行一次:source /etc/profile使环境变量生效.

六、格式化namenode
执行:hadoop namenode -format

如果不好使,可以重启linux

当出现:successfully,证明格式化成功.

七、启动hadoop
start-dfs.sh启动hadoop相关服务
对应如果关闭的话用stop-dfs.sh

八、启动yarn相关服务
执行:start-yarn.sh 启动 用stop-yarn.sh关闭

或者在sbin目录下执行:sh start-all.sh 或sh stop-all.sh启动或关闭hadoop.

在浏览器访问:
你的IP地址:50070来访问hadoop的管理页面
这里我前面已经把防火墙杀死了,你如果打不开就关闭防火墙.

查看防火墙状态
firewall-cmd --state

停止firewall
systemctl stop firewalld.service

禁止firewall开机启动
systemctl disable firewalld.service

我访问的界面: