记录一下自己学习大数据的一些经历,全程使用root用户,参考资料《企业级大数据平台构建:架构与实现》。
一、安装准备
硬件环境
两台家用电脑,一台台式机,使用VMWare安装两台CentOS 7虚拟机(主机名server1,server2);一台笔记本电脑,使用VMWare安装一台CentOS 7 虚拟机(server3)。为了方便,三台虚拟机网络连接使用桥接方式。这里注意一点,要在VMWare里进入“编辑->虚拟网络编辑器”,连接桥接到的网卡。开启虚拟机后互相PING一下,能PING通代表网络是通的。
下载ambari和HDP离线安装包
ambari和HDP的安装包有7G+大小,本人的网络环境不允许我直接通过互联网安装,所以这里选择下载离线安装包,再搭建本地仓库进行安装。出于个人习惯,本人习惯在WIN 7下使用下载工具先将安装包下载到电脑,再通过共享文件方式,直接拷贝到虚拟机。ambari安装包见下载地址,这里我选择的版本是ambari 2.4.0.1 ,HDP安装包选择的版本是2.5.3.0,下载地址见下图
二、安装Apache服务器
这里我使用Apache来当作HTTP服务器,在server1上使用yum直接安装。
yum install httpd
安装成功后新建ambari和hdp两个目录,执行以下命令
cd /var/www/html
mkdir ./hdp
mkdir ./ambari
目录建好之后,将下载好的HDP和HDP-UTILS文件解压到/var/www/html/hdp目录下,然后将下载好的Ambari文件解压到/var/www/html/ambari目录下。
启动Apache服务,至此,本地yum仓库的静态资源就准备好了。这里为了日后方便,我将httpd设置为开机启动。
systemctl enable httpd.service
访问一下localhost验证一下!
三、创建yum源配置文件
为了能让yum命令能够找到安装文件,新建两个仓库的配置文件。
首先新建一个名为ambari.repo的配置文件,配置项如下:
[Ambari-2.4.0.1]
name=Ambari-2.4.0.1
baseurl=http://server1/ambari/AMBARI-2.4.0.1/centos7/2.4.0.1-1
gpgcheck=1
gpgkey=http://server1/ambari/AMBARI-2.4.0.1/centos7/2.4.0.1-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
然后再新建一个名为hdp.repo的配置文件,配置项如下:
[HDP-2.5.3.0]
name=HDP-2.5.3.0
baseurl=http://server1/hdp/HDP/centos7
path=/
enabled=1
gpgcheck=0
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS-1.1.0.21
baseurl=http://server1/hdp/HDP-UTILS-1.1.0.21
path=/
enabled=1
gpgcheck=0
最后将这两个配置文件复制到所有准备安装Hadoop组件的服务器(server1,2,3)上的/etc/yum.repos.d目录下。
四、关闭防火墙和SELinux
执行以下命令关闭防火墙。
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
打开/etc/selinux/config,修改SELINUX=disabled来禁用SELinux。此项修改需要重启服务器后才能生效。
五、配置主机表
编辑/etc/hosts ,将主机一一添加进来。
六、安装Ambari-Server
虽然Ambari系统是由Ambari-Server和Ambari-Agent两个部分组成的。但是手动安装的时候只需要关注Ambari-Server就可以了,因为Ambari-Agent程序在通过Ambari系统新建集群的过程中会自动安装。
在前面的准备中,我已经完成了Ambari本地yum源仓库的搭建工作,因此这里的Ambari-Server安装就很简单了,执行yum install ambari-server -y命令进行安装。之后便会进入自动安装步骤,yum安装程序会根据我们在ambari.repo中配置的信息找到Ambari-Server的安装文件进行安装。等待一会,看到类似如下信息,表明安装ambari-server成功。
Installed:
ambari-server.x86_64 0:2.4.0.1-1
……
Complete!
七、配置Ambari-Server
执行ambari-server setup命令开始配置。
程序会让我们指定Ambari的用户,这里我使用root用户,按回车继续。
Customize user account for ambari-server daemon [y/n] (n)?
接下来到检查JDK,这里我选择“1”。为什么选择1而不是3,因为在之前的操作中我选择了3,指定了自己安装的JDK,后面在ambari控制台注册主机时失败,失败原因是openssl问题,在网上查阅了很多资料,通过以下帖子解决点击打开链接,原因未明。
Checking JDK...
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
Enter choice (1): 1
数据库设置,为了方便我选择使用Amabri内置的Postgresql,直接回车继续。
Enter advanced database configuration [y/n] (n)?
看到如下类似信息时,表明ambari server配置完成了。
Ambari Server ’setup’ completed successfully.
八、启动Ambari-Server
执行ambari-server start命令启动Ambari-Server,打开浏览器,输入http://server1:8080/来访问Ambari,输入默认用户名:admin,密码:admin完成登录。