基于Apache Ambari搭建Hadoop大数据平台

基于Apache Ambari搭建Hadoop大数据平台
作者:雨水/家辉  日期:2017年2月28日 CSDN博客:http://blog.csdn.net/gobitan
摘要:对于大数据的初学者来说,搭建一个Hadoop大数据基础平台不是一件容易的事。而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。本文以测试环境为例,详细介绍了整个HDP的搭建过程。

全文共分为三个部分,第一部分是Ambari的准备部分;第二部分为安装Ambari;第三部分为基于Ambari-server安装Hadoop及其生态组件。
第一部分:
第一步:基础集群主机规划
[1] ambari           192.168.81.128
[2] namenode    192.168.81.129
[3] hadoop01      192.168.81.130
[4] hadoop02      192.168.81.131  

CentOS操作系统安装
第一步:下载VMware Player,并安装。
具体过程略。

第二步:下载CentOS7,并在VMware Player上安装
[1] 下载CentOS7
CentOS有几个版本,DVD版本太大了(大约4G多),包括图形界面,这里作为服务器工作没有必要,因此选择Minimal版本。下载地址: http://mirrors.163.com/centos/7/isos/x86_64/CentOS-7-x86_64-Minimal-1611.iso。Minimal版本大约680M。
[2] 基于VMware Player安装
创建一个新的虚拟机,选择从iso安装,然后依次输入:
全名:centos7_64,用户名:dennis,密码:123456,虚拟机名字也为centos7_64,硬盘大小默认20G。创建好之后,修改下虚拟机的配置:内存改为2048MB,处理器核心数量改为:2,其他保持默认即可,然后开始安装。

第三步:操作系统配置
注意:以下操作如果没有特别说明,均默认以root身份执行。
[1] 安装net-tools
Miminal版本果然是小,连ifconfig命令都没有安装。执行如下安装ifconfig:
# yum search ifconfig
根据查到的安装包来安装
# yum install -y net-tools.x86_64

[2] NTP安装
# yum install -y ntp

[3] 修改文件句柄数
在/etc/security/limits.conf的末尾增加如下两行:
* hard nofile 50000
* soft nofile 50000

[4] 关闭虚拟机,然后将虚拟机拷贝三份
[5] 依次启动这四台虚拟机,修改虚拟机的hostname和hosts
  (1) 分别将/etc/hostname中的内容改为ambari, namenode, hadoop01和hadoop02;
  (2) 分别在/etc/hosts文件的后面加入如下内容:
192.168.81.128  ambari
192.168.81.129  namenode
192.168.81.130  hadoop01
192.168.81.131  hadoop02
hostname和hosts改完之后,统一把所有机器重启一遍!让配置生效!

第四步:配置Ambari Server到Ambari Agent的单向免密码登陆
在Ambari Server节点执行如下命令:
ssh-keygen -t rsa 回车后再按连续三个回车
cd .ssh/
cat id_rsa.pub >> authorized_keys

分别在其他三台机器上创建/root/.ssh目录,如下:
# mkdir /root/.ssh

然后将authorized_keys拷贝到其他三台机器的.ssh目录,如下:
scp authorized_keys NameNode:/root/.ssh/
scp authorized_keys Hadoop01:/root/.ssh/
scp authorized_keys Hadoop02:/root/.ssh/

验证配置:
[root@ambari ~]# ssh Ambari date; ssh NameNode date; ssh Hadoop01 date; ssh Hadoop02 date;
Tue Feb 28 03:26:26 PST 2017
Tue Feb 28 03:26:26 PST 2017
Tue Feb 28 03:26:26 PST 2017
Tue Feb 28 03:26:26 PST 2017

第五步:安装nginx
# yum install -y nginx
# mkdir -p /var/www/html
# chcon -Rt httpd_sys_content_t /var/www/html/

修改/etc/nginx/conf.d/default.conf内容如下:
server {
    listen       8190;
    server_name  192.168.65.130;

    location / {
        root   /var/www/html;
        index  index.html index.htm;
    }
}

# 关闭selinux
将/etc/selinux/config中的SELINUX值改为disabled,保存重启操作系统。
注:因为是测试环境,建议将其他三台机器的selinux都关闭了,这样减少很多因为端口未开放导致的问题。生产环境另当别论,可参考selinux的相关操作。

# 拷贝默认主页
# cp /usr/share/nginx/html/index.html /var/www/html/

# 启动nginx
# service nginx start

# 设置nginx开机自启动
# systemctl enable nginx.service

检查nginx是否配置正确,访问如下地址:
http://192.168.81.128:8190 

第六步:搭建Ambari本地源
从公共yum源安装太慢了,因此需要搭建私有yum源来安装。Ambari此为当前(2017-02-24)最新版本为2.4.2。具体版本可以参考:
如果要选择其他版本,可以从这里进入 http://docs.hortonworks.com/index.html,然后进行选择。

安装createrepo
[1] yum install -y createrepo

配置Ambari源
因为ambari-2.4.2.0-centos7.tar.gz这个文件有1.29G,因此建议用迅雷下载,然后传到CentOS上。
备注:如果要下载其他版本,可参看《Hortonworks Data Platform: Apache Ambari Installation》
[3] 解压ambari-2.4.2.0-centos7.tar.gz
将该文件移到/var/www/html/目录下,然后解压
# tar zxf ambari-2.4.2.0-centos7.tar.gz
# mv AMBARI-2.4.2.0/ ambari
[4] 创建repo
# createrepo /var/www/html/ambari/

配置HDP源
文件4.99G,同上,建议用迅雷下载。
[2] 解压
# tar zxf HDP-2.5.3.0-centos7-rpm.tar.gz
[3] # createrepo /var/www/html/HDP/

配置HDP-UTILS 源
文件745M,同上,建议用迅雷下载。
[2] 解压
# tar zxf HDP-UTILS-1.1.0.21-centos7.tar.gz
[3]  # mv HDP-UTILS-1.1.0.21/ HDP-UTILS
# createrepo /var/www/html/HDP-UTILS/

编写repo文件
ambari.repo如下:
[ambari-2.4.2]
name=ambari-2.4.2
baseurl=http://192.168.81.128:8190/ambari
gpgcheck=0

HDP.repo如下:
[HDP-2.5.3]
name=HDP-2.5.3
baseurl=http://192.168.81.128:8190/HDP /centos7
gpgcheck=0

HDP-UTILS.repo如下:
[HDP-UTILS-1.1.0.21]
name=HDP-UTILS-1.1.0.21
baseurl=http://192.168.81.128:8190/HDP-UTILS /repos/centos7
gpgcheck=0

检查repo的配置是否正确
# yum repolist
repo id                                                        repo name                                                      status
HDP-2.5.3                                                      HDP-2.5.3                                                        200
HDP-UTILS-1.1.0.21                                       HDP-UTILS-1.1.0.21                                          52
ambari-2.4.2                                                   ambari-2.4.2                                                      12
status不为零即可。

将repo拷贝到其他三台机器
scp ambari.repo NameNode:/etc/yum.repos.d/
scp HDP.repo NameNode:/etc/yum.repos.d/
scp HDP-UTILS.repo NameNode:/etc/yum.repos.d/

scp ambari.repo Hadoop01:/etc/yum.repos.d/
scp HDP.repo Hadoop01:/etc/yum.repos.d/
scp HDP-UTILS.repo Hadoop01:/etc/yum.repos.d/

scp ambari.repo Hadoop02:/etc/yum.repos.d/
scp HDP.repo Hadoop02:/etc/yum.repos.d/
scp HDP-UTILS.repo Hadoop02:/etc/yum.repos.d/
可将上面命令放入一个shell文件中,一次执行!

Ambari私有库配置完成!

第二部分:安装Ambari Server
第一步:安装ambari-server
注:登陆到Ambari主机!
[1] # yum -y install ambari-server

[2] 上传jce_policy-8.zip和jdk-8u112-linux-x64.tar.gz
下载jce_policy-8.zip和jdk-8u112-linux-x64.tar.gz,将其上传到/var/lib/ambari-server/resources 
由于接下来的ambari-server setup中要安装jdk,从网上下载太慢,而直接放到resource目录没有识别出来。因此,这里先手动安装好,然后指定路径。
安装jdk三步:先解压到/opt目录,再在/etc/profile中加入
export JAVA_HOME=/opt/jdk1.8.0_112
export PATH=$PATH:$JAVA_HOME/bin
保存后再执行. /etc/profice让其生效。

[3] 配置Ambari-server
# ambari-server setup -j 
中间有询问,全部输入y,有输入全部采用默认。
数据用户名和密码:ambari/bigdata
注意:这一步有问题,采用的是Custom安装,jce没有用到

[4] 配置postgresql自启动
chkconfig --level 35 postgresql on

[5] 启动ambari-server
[root@Ambari ~]# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

[6] 检查状态
[root@Ambari ~]# ambari-server status
Using python  /usr/bin/python
Ambari-server status
Ambari Server running
Found Ambari Server PID: 7913 at: /var/run/ambari-server/ambari-server.pid
[root@Ambari ~]# lsof -i:8080
COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
java    7913 dennis 1423u  IPv6  61236      0t0  TCP *:webcache (LISTEN)
[root@Ambari ~]#

[7] 网页登陆ambari-server
http://192.168.81.128:8080,用户名和密码都是admin
=====================Ambari-server搭建完成,下面开始在界面上安装Hadoop集群!

第三部分:在Ambari-server上安装Hadoop集群生态
登陆http://192.168.81.128:8080,然后点击"Launch Install Wizard"开始安装!

第一步:集群名字:dbigdata
第二步:版本选择:全部选择最新的,当前为HDP2.5,然后选择本地源中的redhat7。填写Base URL分别为:
http://192.168.81.128:8190/HDP/centos7
http://192.168.81.128:8190/HDP-UTILS/repos/centos7
第三步:安装选项
[1] 输入主机名:
NameNode
Hadoop01
Hadoop02
[2] 将私钥ida_rsa上传,这个是在做ssh免登陆那一步中生成的。

第四步:主机注册
这一步如果注册是失败,可以点开看看具体原因(如下面可能的原因)。有时候会出现一些莫名其妙的错误,这时可以重试几次。
注册过程如果发现有issues,则需要点开,然后一一解决,如下面发现的问题:
[1] jdk需要在每台机器上都有,同样的位置;
[2] 需要将另外三台的防火墙关了:service firewalld stop
[3] 另外三台的ntp未运行: service ntpd start
[4] 检查这三台机子上/etc/yum.repos.d下的repo中的URL是否正确

第五步:选择服务
安装组件的选择:
未选择安装的部分:
Falcon     0.10.0.2.5    Data management and processing platform
Storm     1.0.1.2.5    Apache Hadoop Stream processing framework
Flume     1.5.2.2.5    A distributed service for collecting, aggregating, and moving large amounts of streaming data into HDFS
Accumulo 1.7.0.2.5    Robust, scalable, high performance distributed key/value store.
Atlas    0.7.0.2.5    Atlas Metadata and Governance platform
Knox    0.9.0.2.5    Provides a single point of authentication and access for Apache Hadoop services in a cluster
Zeppelin Notebook    0.6.0.2.5    A web-based notebook that enables interactive data analytics. It enables you to make beautiful data-driven, interactive and collaborative documents with SQL, Scala and more.
第六步:分配节点

第七步:Master和Slave选择
推荐DataNode和Client都安装。
            
Hive Metastore数据库的密码:123456,MySQL数据库(hadoop02)
Ambari Metrics: Grafana Admin Password: 123456
Smart Sense: 密码:123456
Hive->Tez Container Size: 170M-->512M

系统提示Oozie使用Derby会导致某些功能无法使用,因此要使用MySQL。
https://dev.mysql.com/downloads/connector/j/ 下载mysql-connector-java-5.1.40.zip,解压后可获得mysql-connector-java-5.1.40-bin.jar,上传至Ambari节点的/opt目录下,然后执行如下命令:
ambari-server setup --jdbc-db=mysql --jdbc-driver=/opt/mysql-connector-java-5.1.40-bin.jar

注意:以下操作在Hadoop01(也就是Oozie Server所在节点)上执行!
因为执行yum install mysql默认安装的是mariadb,它是MySQL的一个分支。
干脆采用如下安装:
[1] 安装:yum install mariadb mariadb-server
[2] 启动:service mariadb start
[3] 配置开机启动:systemctl enable mariadb
[4] 安全配置:mysql_secure_installation
初次运行时,密码为空,可直接回车。设置root密码为:123456,其他默认。
参考: http://www.linuxidc.com/Linux/2016-03/128880.htm  CentOS 7.0 使用 yum 安装 MariaDB 与 MariaDB 的简单配置

然后进入MySQL,执行如下命令:
# mysql -uroot -p123456
MariaDB [(none)]>
CREATE USER 'oozie'@'%' IDENTIFIED BY '123456';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;
CREATE DATABASE oozie;
这些都创建好之后,需要测试下数据库的连接性。成功之后即可进入下一步!

然后就进入漫长地安装等待。。。,如果有失败的,多尝试几次!
安装成功后,登陆:http://192.168.81.128:8080/,用户名和密码都是admin。


参考资料:
[1] 《Hortonworks Data Platform: Apache Ambari Installation》
[2]  http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/   Ambari——大数据平台的搭建利器

  • 1
    点赞
  • 0
    评论
  • 9
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

©️2021 CSDN 皮肤主题: 大白 设计师:CSDN官方博客 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值