阿里云服务器搭建及安装Ambari环境

实验报告 第四组

服务器搭建及安装Ambari环境

• Ambari简介

  Ambari 跟 Hadoop 等开源软件一样，也是 Apache Software Foundation 中的一个项目。 Ambari的作用就是创建、管理、监视 Hadoop 的集群，但是这里的 Hadoop 是广义，指的是 Hadoop 整个生态圈（例如 Hive，Hbase，Spark，Kafka，Zookeeper 等），而并不仅是特指 Hadoop。用一句话来说，Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。

  Ambari 自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent。简单来说，用户通过 Ambari Server 通知 Ambari Agent 安装对应的软件；Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server，最终这些状态信息会呈现在 Ambari 的 GUI，方便用户了解到集群的各种状态，并进行相应的维护。

• 集群介绍

  三台2V CPU 16GB内存 1Gbps内网速度 40G硬盘空间的服务器，分别命名为

  master	内网IP:172.26.191.114 外网IP:39.98.45.52
  node1	内网IP:172.26.191.113
  node2	内网IP:172.26.191.112
  

• 配置服务器Ambari环境

  a) 修改机器名、Hosts文件

  查看当前的Hostname：

  # hostname
  

  修改Hostname：（以master为例）

  # hostnamectl set-hostname master
  

  修改每一台机器上的/etc/hosts文件：

  # vim /etc/hosts
  172.26.191.114     master
  172.26.191.113     node1
  172.26.191.112     node2
  

  修改完以后，重启每一台机器。

  b) 设置ntpd自动启动，所有机器

  没有安装ntpd的机器，用yum命令安装一下:

  # yum install -y ntp
  

  设置服务开机启动：

  # systemctl enable ntpd
  

  启动服务：

  # systemctl start ntpd
  

  c) 设置时间同步，所有机器

  # cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
  # ntpdate us.pool.ntp.org
  

  d) 关闭Selinux，所有机器

  # vim /etc/sysconfig/selinux
  selinux=disalbed
  

  e) 关闭防火墙

  # systemctl stop firewalld
  # systemctl disable firewalld
  

  f) 制作集群的SSH免密码登录

  在master上创建密钥：

  # ssh-keygen -t rsa
  

  一路Enter到密钥生成

  进入~/.ssh目录，查看密钥文件：

  私钥：id_rsa
  公钥：id_rsa.pub

  切换到node1等机器上，创建~/.ssh目录

  # mkdir ~/.ssh
  

  从master上，发送公钥给目标服务器：

  # scp ~/.ssh/id_rsa.pub node1:/root/.ssh/authorized_keys_from_master
  # scp ~/.ssh/id_rsa.pub node2:/root/.ssh/authorized_keys_from_master
  

  在被登录的服务器上，合并公钥：

  # cd ~/.ssh
  # cat authorized_keys_from_ambari >> authorized_keys
  

  对所有服务器上的.ssh目录和文件授权：

  # chmod 700 ~/.ssh
  # chmod 600 ~/.ssh/*
  

  在master上验证SHH可以免密码登录目标服务器：

  # ssh hadoop.namenode
  

  如果无需输入密码，且用hostname命令查看到正确的主机名，则表示配置免密码登录成功；

  如果仍需要输入密码，则不成功；如果不成功，先尝试权限修改；如果仍不成功，则要删除密钥再做一次。

• 安装JDK1.8

  下载JDK 1.8.0.tar.gz文件，解压：

  # wget -c https://download.oracle.com/otn/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz
  # mkdir /usr/local/jdk
  # tar -xvf jdk-8u131-linux-x64.tar.gz -C /usr/local/jdk/
  

  配置环境变量，添加以下内容：

  # vim /etc/profile
  #java
  export JAVA_HOME=/usr/local/jdk/jdk1.8.0_131
  export JRE_HOME=$JAVA_HOME/jre
  export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
  export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
  

  执行以下语句，使环境变量立刻生效：

  # source /etc/profile
  

  验证Java安装成功：

  # java -version
  
  java version "1.8.0_131"
  Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
  Java HotSpot