Centos7中用Ambari快速搭建大数据平台攻略（二）

最新推荐文章于 2022-07-25 14:28:04 发布

废柴当自强

最新推荐文章于 2022-07-25 14:28:04 发布

阅读量2.4k

点赞数

分类专栏： hadoop集群搭建文章标签： Centos7.4 Ambari mysql5.7 HDP Hadoop集群

本文链接：https://blog.csdn.net/jiaowoshouzi/article/details/81064177

版权

hadoop集群搭建专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、搭建数据库

二、制作本地源 (在ambari01.hadoop部署)

三、安装Ambari (在ambari01.hadoop部署)

在进行上述准备工作后，我们继续我们的部署工作。前方准备工作参见传送门：Centos7中用Ambari快速搭建大数据平台攻略（一）

一、搭建数据库

Ambari安装会将安装等信息写入数据库，建议使用自己安装的Mysql数据库，也可以不安装而使用默认数据库PostgreSQL

前边我们已经提到，在主服务器上建立了一个mysql数据库。（如果已经安装过mysql可以跳过这一步）

不想安装mysql也可以选择MariaDB数据库，基本和mysql差不多。

安装完成后创建ambari数据库及用户，登录root用户执行下面语句：

登陆mysql 然后创建如下数据库（）

create database ambari character set utf8 ;  
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;

如果要安装Hive，再创建Hive数据库和用户再执行下面的语句：

create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

如果要安装Oozie，再创建Oozie数据库和用户再执行下面的语句：

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

FLUSH PRIVILEGES;

二、制作本地源 (在ambari01.hadoop部署)

（1）下载 Ambari HDP、HDP-UTILS、 HDP-GPL源包（文件很大，需要很长下载时间，请耐心等待。。。）

$ cd /usr/local/src/Ambari/
$ wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari-2.6.2.2-centos7.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.2.0-centos7-rpm.tar.gz
$ wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

建议直接通过迅雷下载好再上传到服务器。详情可官网自行下载对应版本。hdp官网传送门

我下载的版本是

ambari 2.6.2.2 hdp 2.6.5.0 hdp-utils 1.1.0.22 hdp-gpl 2.6.5.0

（2）安装本地源相关工具

将下载好的源上传到 ambari01.hadoop的 /var/www/html 目录下，因为文件比较多，我自己在html下新建了一个ambari文件夹，结构如下：

还记得我们之前安装的HTTP服务器了么，这时候在浏览器输入：http://192.168.9.61/ambari/ ，便可以看见刚刚我们上传的文件。

接下来，我们安装制作本地源工具

yum install yum-utils createrepo -y

（3）配置ambari、HDP、HDP-UTILS的本地源

首先下载上面资源列表中的相应repo文件，修改其中的URL为本地的地址，相关配置如下：
cd /etc/yum.repos.d/

vi ambari.repo

#VERSION_NUMBER=2.6.2.2-1
[ambari-2.6.2.2]
name=ambari-2.6.2.2-1
baseurl=http://192.168.9.61/ambari/ambari/centos7/2.6.2.2-1/
gpgcheck=1
gpgkey=http://192.168.9.61/ambari/ambari/centos7/2.6.2.2-1/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

保存并退出

vi hdp.repo

#VERSION_NUMBER=2.6.5.0-292
[HDP-2.6.5.0]
name=HDP-2.6.5.0
baseurl=http://192.168.9.61/ambari/HDP/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.9.61/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS-1.1.0.22
baseurl=http://192.168.9.61/ambari/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=1
gpgkey=http://192.168.9.61/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

保存并退出

vi hdp-gpl

#VERSION_NUMBER=2.6.5.0-292

[HDP-GPL-2.6.5.0]
name=HDP-GPL Version - HDP-GPL-2.6.5.0
baseurl=http://192.168.9.61/ambari/HDP-GPL/centos7/2.6.5.0-292/
gpgcheck=1
gpgkey=http://192.168.9.61/ambari/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1

priority=1

保存并退出。

备注：其中 baseurl路径与gpgkey需要根据自己的实际解压路径来，否则makecache不能成功

紧接着制作源：

yum clean all
yum makecache

yum repolist

三、安装Ambari (在ambari01.hadoop部署)

安装Ambari
$ yum install ambari-server -y

配置Ambari
$ ambari-server setup

下面是配置执行流程，按照提示操作
（1）提示是否自定义设置。输入：y

Customize user account for ambari-server daemon [y/n] (n)? y

（2）ambari-server 账号。输入：ambari

Enter user account for ambari-server daemon (root):ambari
Adjusting ambari-server permissions and ownership...

（3）设置JDK。输入：3

Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[] Custom JDK
============================================================================
Enter choice (1): 3

（4）如果上面选择3自定义JDK,则需要设置JAVA_HOME。输入：/opt/java/jdk1.8.0_112 （看自己安装的位置）

WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /opt/java/jdk1.8.0_112
Validating JDK on Ambari Server...done.
Completing setup...

（5）数据库配置。选择：y

Configuring database...
Enter advanced database configuration [y/n] (n)? y

（6）选择数据库类型。输入：3

Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
============================================================================
Enter choice (3): 3

如果报错：

  WARN [com.mchange.v2.async.ThreadPoolAsynchronousRunner$PoolThread-#0] StatementUtils:48 - Statement close FAILED.
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ‘OPTION SQL_SELECT_LIMIT=DEFAULT‘ at line 1

原因：Ambari默认的 mysql jdbc 驱动不支持 5.6以上版本
解决方法：设置mysql jdbc驱动

ps：这时候可能会提示你需要你设置下mysql的一个jar包。还记得我们之前在 /usr/share/java的那个java包么？

另起一个窗口，输入：

ln -s mysql-connector-java-5.1.40-bin.jar mysql-connector-java.jar   #如果jar包名字已经是mysql-connector-java.jar 可省略此步

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

（7）设置数据库的具体配置信息，根据实际情况输入，如果和括号内相同，则可以直接回车。

Hostname (localhost):ambari01.hadoop        #是ambari-mysql安装了数据库那台的主机名
Port (3306):3306                                        #（不填默认括号里的值）
Database name (ambari):ambari
Username (ambari):ambari
Enter Database Password (Ambari-123):               #（自己设置密码）

（8）将Ambari数据库脚本导入到数据库
如果使用自己定义的数据库，必须在启动Ambari服务之前导入Ambari的sql脚本

另开一个窗口：
用Ambari用户（上面设置的用户）登录mysql

mysql -u ambari -p
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

ps:如果此命令不能执行，就直接将ambari01.hadoop主机的/var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql，这个目录下的文件发送给 ambari-mysql主机没这个目录，就mkdir -p 建立同样的目录
（9）启动Amabri
$ ambari-server start

（10）成功启动后在浏览器输入Ambari地址：http://192.168.9.61:8080

ps：这里尝试将ip换作主机名称但是步没有进入，建议还是用ip

出现登录界面，默认管理员账户登录，账户：admin 密码：admin