【hadoop】hadoop集群介绍 和 完全分布式部署步骤

前言

这章我们来看一下hadoop的搭建

hadoop模式

hadoop部署模式有三种

• 1、单机：Hadoop的单机模式安装很简单,只需配置好环境变量即可运行,这个模式一般用来学习和测试Hadoop的功能

• 2、伪分布式：
  伪分布式的安装和完全分布式类似,区别是所有角色安装在一台机器上,使用本地磁盘,一般生产环境都会使用完全分布式,伪分布式一般是用来学习和测试Hadoop的功能
  伪分布式的配置和完全分布式配置类似

• 3、完全分布式
  这章主要介绍搭建完全分布式

搭建完全分布式

集群规划：

地址	名字
192.168.25.70	had-node2
192.168.25.71	had-node3
192.168.25.72	had-node4

集群底层的操作系统是Centos os7
java环境：jdk1.8
hadoop包：hadoop 2.6.5

搭建思路

1、准备三台虚拟机
2、配置好ip地址规划
3、禁用selinux
4、禁用firewalld
5、配置 /etc/hosts
6、ssh
7、安装jdk
8、安装hadoop
9、配置环境变量

步骤

1、准备三台虚拟机
2、配置好ip地址规划
用命令行的方式修改网络配置，进入 cd /etc/sysconfig/network-scripts/

vim ifcfg-ens33

主要更改，注意红色框框的，包括

• 把 bootproto = static
• 还有onboot = yes
• ipaddr、netmask、还有gateway网关从虚拟网络适配器中查看

3、禁用selinux
#master、slave1、slave2

[root@had-node ~]# setenforce 0          # 将 SELinux 的状态临时设置为Permissive 模式（立即生效）
[root@had-node ~]# vi /etc/selinux/config      
 #编辑 config 文件将 SELINUX=enforcing 修改为 SELINUX=disabled（重启生效）

因为CentOS的所有访问权限都是有SELinux来管理的，为了避免我们安装中由于权限关系而导致的失败，需要先将其关闭，以后根据需要再进行重新管理。

4、禁用firewalld

#master、slave1、slave2
[root@had-node ~]# systemctl disable firewalld            # 永久关闭防火墙（重启生效）

[root@had-node ~]# systemctl stop firewalld               # 临时关闭防火墙（立即生效）

[root@had-node ~]# systemctl status firewalld             # 检查修改

为避免由于防火墙策略导致安装失败问题，需要先关闭防火墙

5、配置 /etc/hosts
把我们的集群地址写进入，中间用 table 键隔开

6、ssh

#master、slave1、slave2
#生成ssh免密登录密钥

  ssh-keygen –t rsa (四个回车)

执行完这个命令后，会生成id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免密登录的目标机器上

  ssh-copy-id had-node2
  ssh-copy-id had-node3
  ssh-copy-id hadnode4（也要发给自己的主机）

一般配置是从主节点到从节点
在配置免密登录时，先给主节点自己配置一个免密登录，因为后面一些程序在自己内部调用是需要免密登录的

7、安装jdk

1. 卸载现有jdk
   (1) 首先是，搜索或查找是否安装java软件：

[root@had-node ~]# rpm -qa | grep java  //搜索命令

图片不符，就是理解下

(2) 卸载有openjdk jdk：
rpm -e --nodeps 后面跟系统自带的jdk名 这个命令来删除系统自带的jdk，

例如：rpm -e --nodeps java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
      rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
      rpm -e --nodeps java-1.7.0-openjdk