hadoop3.0高可用HA大数据平台架构软件和部署方案（二）

hadoop3.0高可用HA大数据平台架构硬件和部署方案（一）http://blog.csdn.net/lxb1022/article/details/78389836
hadoop3.0高可用HA大数据平台架构软件和部署方案（二)
http://blog.csdn.net/lxb1022/article/details/78399462

一、操作系统：

1、安装centos 7     U盘安装教程

2、集群规划

3、所有节点基本配置

3.1 、Hosts/hostname配置：vi /etc/hosts   vi /etc/hostname

3.2 、IP配置：vi /etc/sysconfig/network-scripts/ifcfg-enp4s0

3.3 、关闭防火墙：systemctl  stop  firewalld       systemctl  enable firewalld

3.4 、关闭selinux：vi /etc/selinux/config    修改SELINUX=disabled

3.5 、所有节点安装时钟同步ntp：yum install ntp

3.6 、配置SSH免密码登陆：ssh-keygen-t rsa

3.7、安装配置FTP教程

3.8、下载jdk-8u144-linux-x64.gz，并解压到目录：/opt/jdk1.8.0_144

3.9、环境变量配置：vi /etc/profile     激活：source /etc/profile

#set java env
export JAVA_HOME=/opt/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/rt.jar

#set hadoop env
export HADOOP_HOME=/opt/hadoop-3.0.0-beta1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

#set zookeeper env
export ZOOKEEPER_HOME=/opt/zookeeper-3.5.3-beta
export PATH=$PATH:$ZOOKEEPER_HOME/bin

4、软件安装配置                 

4.1、zookeeper-3.5.3-beta.tar.gz        配置HA详解   原理详解    

4.2 、hadoop-3.0.0-beta1.tar.gz          配置HA详解   原理详解         

4.3 、hbase-2.0.0-alpha3-bin.tar.gz     配置HA详解   原理详解

4.4 、apache-hive-2.3.0-bin.tar.gz

4.5 、spark-2.2.0-bin-hadoop2.7.tgz    配置HA详解