Ubuntu16.04搭建ambari-2.7.3.0步骤

说明：

1、实际过程较复杂，过程中很可能遇到不可预料的问题，需要查资料一步一步解决；

2、本示例假设集群共有3台linux系统，分别如下：

192.168.1.87   master.yjdl master
192.168.1.88   slave1.yjdl slave1  
192.168.1.89   slave2.yjdl slave2

一、环境准备（集群中所有服务器都需要配置）：

1.python 

2.jdk

3.ntp 集群的时区一致性

apt-get install ntpdate
vi /etc/ntp.conf
在ntpd服务端的配置中添加
server 127.127.1.0 fudge
127.127.1.0 stratum 8

4.修改hosts，添加对其它节点的解析

root@master:~# cat /etc/hosts
127.0.0.1       localhost
127.0.1.1       master.yjdl master
192.168.1.87   master.yjdl master
192.168.1.88   slave1.yjdl slave1
192.168.1.89   slave2.yjdl slave2
# The following lines are desirable for IPv6 capable hosts
::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
root@master:~#
root@master:~# java -version
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
root@master:~# which java
/usr/local/java/jdk1.8.0_121/bin/java
root@master:~#
root@master:~# python -V
Python 2.7.12
root@master:~#

二、对集群中的机器设置root用户相互之间免密码登录：

生成ssh密码对
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa  
将id_dsa.pub追加到授权的key中
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
设置授权key权限
chmod 600 ~/.ssh/authorized_keys
#权限的设置非常重要，因为不安全的设置安全设置，会让你不能使用RSA功能
测试ssh连接
ssh slave1
#如果不需要输入密码，则是成功 确保每台服务器都尝试下连接，全部成功才ok

三、在其中一台服务器上安装ambari-server，最好是能上外网，否则很多相关包需要离线下载，本示例在slave1服务器上安装：

1.下载ambari对应包：

linux发行版本的不同，下载地址也不同，确认之后再修改对应的版本：

    主页:
        https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/ambari_repositories.html
        https://docs.hortonworks.com/HDPDocuments/Ambari-2.7.3.0/bk_ambari-installation/content/hdp_31_repositories.html    
下载链接:
        ambari-2.7.3.0  http://public-repo-1.hortonworks.com/ambari/ubuntu16/2.x/updates/2.7.3.0/ambari-2.7.3.0-ubuntu16.tar.gz
        HDP  http://public-repo-1.hortonworks.com/HDP/ubuntu16/3.x/updates/3.1.0.0/HDP-3.1.0.0-ubuntu16-deb.tar.gz
        HDP-UTILS  http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/ubuntu16/HDP-UTILS-1.1.0.22-ubuntu16.tar.gz
        HDP-GPL  http://public-repo-1.hortonworks.com/HDP-GPL/ubuntu16/3.x/updates/3.1.0.0/HDP-GPL-3.1.0.0-ubuntu16-gpl.tar.gz

2.安装apache2并将上一步下载好的四个文件解压到/var/www/html/目录下：

apt-get install apache2
cp ambari/ubuntu16/2.7.3.0-139/ambari.list /etc/apt/sources.list.d/
修改ambari.list为
deb http://192.168.1.88:80/ambari/ubuntu16/2.7.3.0-139 Ambari main
apt-key adv --recv-keys --keyserver keyserver.ubuntu.com B9733A7A07513CAD
apt-get update

3.安装ambari-server，注意要选择自定义的jdk目录：

apt-get install -y ambari-server
ambari-server setup
root@slave1:~# ambari-server setup
Using python  /usr/bin/python
Setup ambari-server
Checking SELinux...
WARNING: Could not run /usr/sbin/sestatus: OK
Customize user account for ambari-server daemon [y/n] (n)?
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Custom JDK
==============================================================================
Enter choice (1): 2
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /usr/local/java/jdk1.8.0_121
Validating JDK on Ambari Server...done.
Check JDK version for Ambari Server...
JDK version found: 8
Minimum JDK version is 8 for Ambari. Skipping to setup different JDK for Ambari Server.
Checking GPL software agreement...
GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html
Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)?
Configuring database...
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Configuring local database...
Configuring PostgreSQL...
Restarting PostgreSQL
Creating schema and user...
done.
Creating tables...
done.
Extracting system views...
...ambari-admin-2.7.3.0.139.jar
.
Ambari repo file contains latest json url http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json, updating stacks repoinfos with it...
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.
root@slave1:~#

4.启动ambari-server并检查是否成功：

root@slave1:~# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start......................
Server started listening on 8080
DB configs consistency check: no errors and warnings were found.
Ambari Server 'start' completed successfully.
root@slave1:~#

浏览页面：http://172.16.0.6:8080  这个地址实际上就是slave1的ip 

用户名、密码默认都是 admin

见到以下页面说明ambari平台安装成功!  恭喜你完成了60%工作量了。。。

 

四、接下去通过ambari安装集群：

说明：Ambari默认集成了绝大多数我们需要使用的集群组件，暂时用不着的组件不需要提前安装，对平台的资源也是浪费，未来还可以再从平台安装。

目前我们只需要使用zk,hdfs,yarn,hbase,kafka

1.集群名称自定义：

2.删除其它版本的OS，本示例系统是ubuntu16.04：

 

这个地方有些场景下会留下坑，172.16.0.6是外网地址，如果集群中有节点不能上外网，或者无法解析到这个地址，那就会报错，

导致在安装过程中的apt-get无法安装相应的包。

如果已经配置好了地址，可以通过直接修改slave1上的/etc/apt/sources.list.d/ambari-hdp-1.list  ambari.list里面的地址（一定是修改slave1这台服务器上面的，因为RETRY的时候会从slave1重新分发到其他节点）；

 

 

在哪个节点安装哪些组件需要好好考量，根据服务器的性能和承载能力，当然后期还是能修改的；

 

 

 

 

启动的时候有部分报错，这里可以先直接NEXT-->COMPLETE，再启动的时候再根据日志排查问题；

 

 

五、启动集群

1、启动顺序

ZooKeeper --> HDFS --> Hbase 、Yarn、Kafka等组件；

 

 

六、其它

 

1、HA设置

根据平台提示即可；

2、二次开发

可以自定义Ambari服务；