hodoop伪分布配置详细步骤

 

目录

 

一、文档编写目的

二、环境准备

2.1 设置静态IP及DNS

2.2 修改主机名

2.3 关闭Linux防火墙和selinux

2.4 添加主机名映射

2.5 创建普通用户

2.6 免密设置

2.7 安装JDK

三、Hadoop安装配置

3.1 安装hadoop

3.2 配置HDFS

3.3 配置Yarn

3.4 配置historyserver

---

一、文档编写目的

Hadoop作为大数据框架的一个基础，有着举足轻重的作用和地位，hadoop有三种搭建模式，即本地模式、伪分布模式和分布式，本地模式由于几乎用不到，不做过多介绍，分布式的搭建后续会进行补充，本文主要讲解分布式的搭建流程。

操作流程概述：

• 环境准备
• Hadoop安装配置

测试环境概述：

• CentOS6.9
• apache hadoop2.9.1
• 安装在whj(普通用户)

二、环境准备

2.1 设置静态IP及DNS

# vim /etc/sysconfig/network-scripts/ifcfg-eth0

ONBOOT=yes                  (把网卡设置成开机启动)

BOOTPROTO=static         (把DHCP改为static，Linux严格区分大小写，一定要注意)

IPADDR=192.168.106.151  (配置ip)

NETMASK=255.255.255.0  (子网掩码)

DNS1=192.168.106.2          (第一个DNS设置成跟网关地址一样，NAT模式比较特殊)

DNS2=202.96.209.5            (上海电信DNS服务器)

GATEWAY=192.168.106.2   (前三位相同，末位设置为2,是NAT模式特有的做法)

重启网卡

# service network restart

查看网卡IP

# ip a

    或

# ifconfig            (network interfaces configuring网络接口配置)

2.2 修改主机名

集群内部的主机名通常都会使用统一的命名格式

注意：hadoop里主机名不能使用下划线

# vi /etc/sysconfig/network

HOSTNAME=whj01.mydomain

注意：主机名修改后重庆系统才能生效

查看主机名

# hostname

2.3 关闭Linux防火墙和selinux

** 默认情况下,防火墙只开启了22号端口，会影响集群通讯

# service iptables status    (查看防火墙的状态) 

# service iptables stop      (关闭防火墙服务)

# chkconfig iptables off     (设置为开机不启动)

# chkconfig --list                (列出所有的系统服务)

# chkconfig --list | grep iptables   （列出防火墙相关的服务)

PS：等级代号

等级代号指定该系统服务要在哪一个执行等级中开启或关闭。

等级0表示：表示关机，系统默认运行级别不能设置为0，否则不能正常启动、关闭。

等级1表示：单用户模式

等级2表示：无网络连接的多用户命令行模式

等级3表示：有网络连接的多用户命令行模式

等级4表示：等级4保留，一般不用，可以处理一些特殊情况。如笔记本电池用尽时，可以切换到这个模式来做一些设置。

等级5表示：带图形界面的多用户模式

等级6表示：重新启动

selinux是一个安全子系统，它能控制程序只能访问特定文件

# vi /etc/sysconfig/selinux

SELINUX=disabled              (把enforcing改成disabled)

2.4 添加主机名映射

后面需要多次使用主机名

# vi /etc/hosts

192.168.106.151  whj01.mydomain                  (在最后一行添加)