【ambari-部署】Ambari2.6.2 HDP2.6.5 大数据集群搭建

最新推荐文章于 2024-08-01 16:11:59 发布
最新推荐文章于 2024-08-01 16:11:59 发布
阅读量658 收藏 1
点赞数
分类专栏： 大数据 文章标签： 大数据

转自： https://blog.csdn.net/weixin_33923762/article/details/90932169

hadoop 集群 master无法免密登录slave2： https://blog.csdn.net/weixin_37600848/article/details/83418515

Ambari,hadoop的配置,管理和监控项目入门： https://blog.csdn.net/wuliusir/article/details/50754859

Ambari2.6.2集成Kerberos： https://blog.51cto.com/784687488/2332072?source=dra

Flink流处理之迭代API分析： https://blog.csdn.net/yanghua_kobe/article/details/53456674

Ambari架构源码解析： https://blog.csdn.net/chengyuqiang/article/details/60963480

ambari rest api (三)： https://www.cnblogs.com/itboys/p/7004148.html

Flink Rest API使用：  https://blog.csdn.net/qq_27710549/article/details/80500857

HUE配置文件hue.ini 的zookeeper模块详解（图文详解）（分HA集群）： https://www.cnblogs.com/zlslch/p/6817538.html

Flink 通过 REST API 获取实时 task metric 汇总统计信息： https://blog.csdn.net/yuchuanchen/article/details/88406438

CDH 和ambari之间的比较： https://blog.csdn.net/qq_32649581/article/details/90899363

docker安装centos7搭建集群: https://blog.csdn.net/kk25114/article/details/88639383

hadoop集群上部署flink环境: https://blog.csdn.net/weixin_40626699/article/details/89139591

大数据基础之Ambari（3）通过Ambari部署Airflow: https://www.cnblogs.com/barneywill/p/10284804.html

Hadoop建设工具Ambari的安装部署及完整使用（一）——介绍: https://blog.csdn.net/balabalayi/article/details/64904822

flink实战--REST API与metrics监控:  https://blog.csdn.net/aA518189/article/details/88952910

Flink架构、原理与部署测试及从kafka到flink到hbase:  https://blog.csdn.net/qq_38799155/article/details/80808818

分布式集群离线配置:  https://blog.csdn.net/m0_37614660/article/details/88987862

Ubuntu 16.04安装Hadoop及Spark:  https://blog.csdn.net/u011596455/article/details/53115410

Ambari部署Hadoop环境&安装ZooKeeper :  https://my.oschina.net/qiangzigege/blog/534176

随笔分类 - ELK(Elasticsearch/Logstash/Kibana)集群搭建:  https://www.cnblogs.com/zlslch/category/972313.html

比较完整的hadoop集群组件的安装教程; https://blog.csdn.net/u010199356/article/details/87538403

本地调试opentsdb的环境搭建： https://blog.csdn.net/weixin_34242819/article/details/88281740

 

 

 

 

原文链接：http://www.jianshu.com/p/abcb22a47652

Ambari 2.6.2 中
HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0

注：本文基于root用户操作

一、安装环境准备

操作系统 centos7.5
hdc-data1：192.168.163.51
hdc-data2：192.168.163.52
hdc-data3：192.168.163.53
【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】

1、主机名IP映射配置

FQDN：(Fully Qualified Domain Name)全限定域名：同时带有主机名和域名的名称。（通过符号“.”）
例如：主机名是bigserver,域名是mycompany.com,那么FQDN就是bigserver.mycompany.com。

 

  1. vi /etc/hosts

  2. #添加如下地址映射及FQDN（ambari注册时需要）

  3. 192.168.163.51 hdc-data1 hdc-data1.hadoop

  4. 192.168.163.52 hdc-data2 hdc-data2.hadoop

  5. 192.168.163.53 hdc-data3 hdc-data3.hadoop

2、SSH免密登录配置

 

  1. ssh-keygen

  2. ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data1

  3. ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data2

  4. ssh-copy-id -i ~/.ssh/id_rsa.pub root@hdc-data3

14788851-6a262f27bc06d496.png

image.png

3、关闭及禁止防火墙

 

  1. systemctl stop firewalld.service

  2. systemctl disable firewalld.service

4、关闭SELinux

SELinux(Security-Enhanced Linux) 是美国国家安全局（NSA）对于强制访问控制的实现，是 Linux历史上最杰出的新安全子系统。NSA是在Linux社区的帮助下开发了一种访问控制体系，在这种访问控制体系的限制下，进程只能访问那些在他的任务中所需要文件。

 

  1. vi /etc/sysconfig/selinux

  2. #修改以下内容

  3. SELINUX=disabled

14788851-fa6f6a6afd7e8a76.png

image.png

5、开启NTP服务

 

  1. yum install -y ntp

  2. systemctl enable ntpd

  3. systemctl start ntpd

6、安装JDK

下载地址：https://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

通过文件传输上传到服务器，这里不可用wget直接下载。

 

  1. mkdir -p /opt/java

  2. tar -zxvf jdk-8u181-linux-x64.tar.gz -C /opt/java/

  3. vi /etc/profile

  4.  

  5. export JAVA_HOME=/opt/java/jdk1.8.0_181

  6. export JRE_HOME=$JAVA_HOME/jre

  7. export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

  8. export PATH=$PATH:$JAVA_HOME/bin

远程分发到其他服务器

 

  1. scp -r /opt/java/jdk1.8.0_181/ root@hdc-data2:/opt/java/

  2. scp -r /opt/java/jdk1.8.0_181/ root@hdc-data3:/opt/java/

  3.  

  4. scp /etc/profile root@hdc-data2:/etc/

  5. scp /etc/profile root@hdc-data3:/etc/

  6.  

  7. source /etc/profile

二、Ambari安装

1、制作Ambari本地yum源

选取一台机器即可，在此选择hdc-data1。

https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.2.0/bk_ambari-installation/content/ch_obtaining-public-repos.html

14788851-dc3e10be4607b101.png

image.png

 

14788851-8e59c0f1ecae35b6.png

image.png

 

14788851-bcf484a75bddd164.png

image.png

 

需要下载资源安装包如下：

 

  1. wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari-2.6.2.0-centos7.tar.gz

  2. wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/HDP-2.6.5.0-centos7-rpm.tar.gz

  3. wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz

  4. wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

1.1 安装 Apache HTTP 服务器

 

  1. yum install httpd -y

  2. #开启服务并设置开机自启动

  3. systemctl start httpd.service

  4. systemctl enable httpd.service

1.2 安装制作yum源工具

yum install yum-utils createrepo

1.3 创建http服务器

http根目录默认是即/var/www/html/

 

  1. mkdir -p /var/www/html/ambari

  2. #cd /var/www/html/ambari

  3. #将下载好的安装包上传并解压

  4. tar xvf HDP-2.6.5.0-centos7-rpm.tar.gz -C /var/www/html/ambari

  5. tar xvf ambari-2.6.2.0-centos7.tar.gz -C /var/www/html/ambari

  6. tar xvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/ambari

  7. tar xvf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz -C /var/www/html/ambari

  8.  

  9. # 删除压缩包

  10. rm -rf ambari-2.6.2.0-centos7.tar.gz

  11. rm -rf HDP-2.6.5.0-centos7-rpm.tar.gz

  12. rm -rf HDP-UTILS-1.1.0.22-centos7.tar.gz

  13. rm -rf HDP-GPL-2.6.5.0-centos7-gpl.tar.gz

验证

14788851-5f7c9e8dc3366adc.png

image.png

1.4 配置ambari、HDP、HDP-UTILS的本地源

 

  1. #yum install wget -y

  2. cd /etc/yum.repos.d/

  3. wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.repo

  4. wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo

  5. wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/hdp.gpl.repo

编辑ambari.repo，修改baseurl和gpgkey

 

  1. [root@hdc-data1 yum.repos.d]# vi ambari.repo

  2.  

  3. #VERSION_NUMBER=2.6.2.0-155

  4. [ambari-2.6.2.0]

  5. name=ambari Version - ambari-2.6.2.0

  6. #baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0

  7. baseurl=http://192.168.163.51/ambari/ambari/centos7/2.6.2.0-155

  8. gpgcheck=1

  9. #gpgkey=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  10. gpgkey=http://192.168.163.51/ambari/ambari/centos7/2.6.2.0-155/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  11. enabled=1

  12. priority=1

编辑hdp.repo，修改baseurl和gpgkey

 

  1. [root@hdc-data1 yum.repos.d]# vi hdp.repo

  2.  

  3. #VERSION_NUMBER=2.6.5.0-292

  4. [HDP-2.6.5.0]

  5. name=HDP Version - HDP-2.6.5.0

  6. #baseurl=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0

  7. baseurl=http://192.168.163.51/ambari/HDP/centos7/2.6.5.0-292

  8. gpgcheck=1

  9. #gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  10. gpgkey=http://192.168.163.51/ambari/HDP/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  11. enabled=1

  12. priority=1

  13.  
  14.  

  15. [HDP-UTILS-1.1.0.22]

  16. name=HDP-UTILS Version - HDP-UTILS-1.1.0.22

  17. #baseurl=http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7

  18. baseurl=http://192.168.163.51/ambari/HDP-UTILS/centos7/1.1.0.22

  19. gpgcheck=1

  20. #gpgkey=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  21. gpgkey=http://192.168.163.51/ambari/HDP-UTILS/centos7/1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  22. enabled=1

  23. priority=1

编辑hdp.gpl.repo，修改baseurl和gpgkey

 

  1. [root@hdc-data1 yum.repos.d]# vi hdp.gpl.repo

  2.  

  3. #VERSION_NUMBER=2.6.5.0-292

  4. [HDP-GPL-2.6.5.0]

  5. name=HDP-GPL Version - HDP-GPL-2.6.5.0

  6. #baseurl=http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0

  7. baseurl=http://192.168.163.51/ambari/HDP-GPL/centos7/2.6.5.0-292

  8. gpgcheck=1

  9. #gpgkey=http://public-repo-1.hortonworks.com/HDP-GPL/centos7/2.x/updates/2.6.5.0/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  10. gpgkey=http://192.168.163.51/ambari/HDP-GPL/centos7/2.6.5.0-292/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins

  11. enabled=1

  12. priority=1

  13.  

分发到其他机器

 

  1. scp /etc/yum.repos.d/ambari.repo root@hdc-data2:/etc/yum.repos.d/

  2. scp /etc/yum.repos.d/ambari.repo root@hdc-data3:/etc/yum.repos.d/

  3. scp /etc/yum.repos.d/hdp.repo root@hdc-data2:/etc/yum.repos.d/

  4. scp /etc/yum.repos.d/hdp.repo root@hdc-data3:/etc/yum.repos.d/

  5. scp /etc/yum.repos.d/hdp.gpl.repo root@hdc-data2:/etc/yum.repos.d/

  6. scp /etc/yum.repos.d/hdp.gpl.repo root@hdc-data3:/etc/yum.repos.d/

每台机器yum配置

 

  1. yum clean all

  2. yum makecache

  3. yum list

2、安装Mysql数据库

Ambari安装会将安装等信息写入数据库，建议使用MariaDB数据库，也可以不安装而使用默认数据库PostgreSQL

2.1 安装及初始化设置

 

  1. [root@hdc-data1 ~]# yum install mariadb-server

  2. [root@hdc-data1 ~]# systemctl start mariadb

  3. [root@hdc-data1 ~]# systemctl enable mariadb

  4. [root@hdc-data1 ~]# mysql_secure_installation

  5.  

  6. #首先是设置密码，会提示先输入密码

  7. Enter current password for root (enter for none):<–初次运行直接回车

  8. #设置密码

  9. Set root password? [Y/n] <– 是否设置root用户密码，输入y并回车或直接回车

  10. New password: <– 设置root用户的密码

  11. Re-enter new password: <– 再输入一次你设置的密码

  12. #其他配置

  13. Remove anonymous users? [Y/n] <– 是否删除匿名用户，回车

  14. Disallow root login remotely? [Y/n] <–是否禁止root远程登录,回车,

  15. Remove test database and access to it? [Y/n] <– 是否删除test数据库，回车

  16. Reload privilege tables now? [Y/n] <– 是否重新加载权限表，回车

【可选】修改mysql端口（生产环境安全考虑）
查看端口

14788851-a487deace8a361df.png

image.png

 

14788851-5ae2a3455187d9e5.png

image.png

 

2.2 安装完成后创建ambari数据库及用户

 

  1. #进入mysql shell

  2. mysql -uroot -p

 

  1. create database ambari character set utf8 ;

  2. CREATE USER 'ambari'@'%'IDENTIFIED BY 'ambari123';

  3. GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';

  4. FLUSH PRIVILEGES;

如果要安装Hive，创建Hive数据库和用户

 

  1. create database hive character set utf8 ;

  2. CREATE USER 'hive'@'%'IDENTIFIED BY 'hive123';

  3. GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';

  4. FLUSH PRIVILEGES;

如果要安装Oozie，创建Oozie数据库和用户

 

  1. create database oozie character set utf8 ;

  2. CREATE USER 'oozie'@'%'IDENTIFIED BY 'oozie123';

  3. GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';

  4. FLUSH PRIVILEGES;

3、安装 ambari

yum install ambari-server

4、下载mysql驱动

http://central.maven.org/maven2/mysql/mysql-connector-java/5.1.40/
将mysql-connector-Java.jar复制到/usr/share/java目录下

 

  1. mkdir /usr/share/java

  2. cp mysql-connector-java-5.1.40.jar /usr/share/java/mysql-connector-java.jar

将mysql-connector-java.jar复制到/var/lib/ambari-server/resources目录下

cp mysql-connector-java-5.1.40.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar

5、编辑/etc/ambari-server/conf/ambari.properties，添加如下内容

 

  1. server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

  2. #【可选】修改默认8080端口

  3. #client.api.port=18080

6、ambaria初始化

 

  1. #设置mysql驱动

  2. ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

  3. ambari-server setup

完整初始化如下：

 

  1. [root@hdc-data1 ~]# ambari-server setup

  2. Using python /usr/bin/python

  3. Setup ambari-server

  4. Checking SELinux...

  5. SELinux status is 'disabled'

  6. Customize user account for ambari-server daemon [y/n] (n)? y

  7. Enter user account for ambari-server daemon (root):

  8. Adjusting ambari-server permissions and ownership...

  9. Checking firewall status...

  10. Checking JDK...

  11. [1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8

  12. [2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7

  13. [3] Custom JDK

  14. ==============================================================================

  15. Enter choice (1): 3

  16. WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.

  17. WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.

  18. Path to JAVA_HOME: /opt/java/jdk1.8.0_181

  19. Validating JDK on Ambari Server...done.

  20. Checking GPL software agreement...

  21. GPL License for LZO: https://www.gnu.org/licenses/old-licenses/gpl-2.0.en.html

  22. Enable Ambari Server to download and install GPL Licensed LZO packages [y/n] (n)? y

  23. Completing setup...

  24. Configuring database...

  25. Enter advanced database configuration [y/n] (n)? y

  26. Configuring database...

  27. ==============================================================================

  28. Choose one of the following options:

  29. [1] - PostgreSQL (Embedded)

  30. [2] - Oracle

  31. [3] - MySQL / MariaDB

  32. [4] - PostgreSQL

  33. [5] - Microsoft SQL Server (Tech Preview)

  34. [6] - SQL Anywhere

  35. [7] - BDB

  36. ==============================================================================

  37. Enter choice (1): 3

  38. Hostname (localhost):

  39. Port (3306):

  40. Database name (ambari):

  41. Username (ambari):

  42. Enter Database Password (bigdata):

  43. Re-enter password:

  44. Configuring ambari database...

  45. Configuring remote database connection properties...

  46. WARNING: Before starting Ambari Server, you must run the following DDL against the database to create the schema: /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

  47. Proceed with configuring remote database connection properties [y/n] (y)? y

  48. Extracting system views...

  49. .....ambari-admin-2.6.2.0.155.jar

  50. ......

  51. Adjusting ambari-server permissions and ownership...

  52. Ambari Server 'setup' completed successfully.

说明：
1：提示是否自定义设置。输入：y 或 按回车继续
2：ambari-server 账号。使用root（推荐）用户直接回车 若使用ambari用户输入：ambari
3：设置JDK,输入数字3，选客户端安装jdk，如果服务器可以访问外网，则可以选1，自动下载jdk1.8，默认下载的安装目录是/usr/java/default
4：如果上面选择3自定义JDK,则需要设置JAVA_HOME
5：输入：y 或 按回车继续
6：输入“y“，进行数据库的高级配置
7：输入“3“，选择mysql/mariadb数据库
8：设置数据库的配置参数：host,port,database,username,password。根据实际情况输入，如果和括号内相同，则可以直接回车。若端口改6033则输入port:6033。
9：输入：y 或 按回车继续
（若设置更改，可以再次执行ambari-server setup进行设置）

7、将Ambari数据库脚本导入到数据库

 

  1. #用Ambari用户（上面设置的用户）登录mysql

  2. mysql -u ambari -p

  3. use ambari;

  4. source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

14788851-fa6158d1a5d982ca.png

image.png

8、启动Ambari

ambari-server start

 

14788851-62cc7ceabfa6b0ed.png

image.png


浏览器访问： http://hdc-data1:8080/ 默认登录用户：admin，密码：admin

 

9、WEBUI配置

14788851-603463fdf82f4b6a.png

image.png

 

 

创建集群名称

14788851-40b71b7fcaa84d20.png

image.png

 

 

选择HDP版本和选择本地仓库

14788851-a86a2a36ca46f76e.png

image.png


配置HDP的Repository

14788851-e5a87037f420c065.png

image.png


输入集群节点host(FQDN)和Ambari节点SSH的私钥

14788851-fc32b66ad45c1744.png

image.png

 

 

等待ambari-agents注册

14788851-d3338cedcaf1f3d3.png

image.png


若报错

14788851-021966852ede6088.png

image.png

 

14788851-c609abd44f5d7a13.png

image.png

【遇到问题 Confirm Hosts】
注册ambari-agents时failed
NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)
SSLError: Failed to connect. Please check openssl library versions.
解决：如下第三个方案，/etc/ambari-agent/conf/ambari-agent.ini文件只有执行该步骤进行注册才生成。修改后点击“Retry Failed”按钮，等待注册成功进入下一步。

 

  1. # 1、yum upgrade openssl 已是最新本版，未解决

  2. # 2、vi /etc/python/cert-verification.cfg 修改 verify=disable，未解决

  3. [https]

  4. #verify=platform_default

  5. verify=disable

  6. # 3、最后解决方案 在ambari-agent的配置文件/etc/ambari-agent/conf/ambari-agent.ini

  7. 在 ［security］标签下面增加一项

  8. [security]

  9. force_https_protocol=PROTOCOL_TLSv1_2

14788851-cffc2d69f3ac75e4.png

image.png

 

 

选择安装组件，（最小化安装HDFS+YARN+MAPREDUCE2+Ambari Metrics+SmartSense+ZooKeeper+Hbase）不必要的组件可以暂时不安装节省安装时间，后续可以再添加安装组件

14788851-c6502ee15880113a.png

image.png

 

14788851-42b561a11604e549.png

image.png

 

 

实际部署时需按规划设计进行分配（注意：Hbase HA 的话在Hbase Master 点击后面的小绿色+号，添加standby master）：

14788851-d1b8343393ccd3c2.png

image.png


工作节点角色分配(生产环境全勾了)

14788851-2f13405acf5ce462.png

image.png


组件配置信息修改
通常数据目录修改到/data/目录下，有红色信息提示的组件表示要输入相应的账号密码。以下示例，可根据自己的实际情况配置。

 

HDFS

14788851-ea93e394b866a268.png

image.png

 

14788851-a31fd1e7653cd863.png

image.png


HIVE,若数据库端口修改按实际填写

14788851-5fb664a68f0b358c.png

image.png


Oozie

14788851-ed7399362578a50c.png

image.png


Zookeeper

14788851-dab75015068d127f.png

image.png

 

14788851-23ef9d3f9fbd2e48.png

image.png

 

14788851-ded441f657ca8309.png

image.png

 

14788851-7345766924e0c76a.png

image.png

暂时修改了以下属性，具体配置信息可根据实际情况后续相应修改

端口属性修改值
dfs.namenode.http-addressserver1.hadoop:5070 （def:50070）
yarn.resourcemanager.webapp.addressserver2.hadoop:8888 （def:8088）
yarn.resourcemanager.webapp.https.addressserver2.hadoop:8890(def:8090)
mapreduce.jobhistory.webapp.addressserver2.hadoop:18888 (def:19888)
属性修改值
HDFS 
NameNode/data/hadoop/hdfs/namenode
DataNode/data/hadoop/hdfs/data
SecondaryNameNode Checkpoint directories/data/hadoop/hdfs/namesecondary
Hadoop PID Dir Prefix/data/var/run/hadoop
Hadoop Log Dir Prefix/data/var/log/hadoop
dfs.journalnode.edits.dir/data/hadoop/hdfs/journalnode
Yarn 
yarn.nodemanager.local-dirs/data/hadoop/yarn/local
yarn.nodemanager.log-dirs/data/hadoop/yarn/log
yarn.timeline-service.leveldb-state-store.path/data/hadoop/yarn/timeline
yarn.timeline-service.leveldb-timeline-store.path/data/hadoop/yarn/timeline
YARN Log Dir Prefix/data/var/log/hadoop-yarn
YARN PID Dir Prefix/data/var/run/hadoop-yarn
Mapreduce 
Mapreduce Log Dir Prefix/data/var/log/hadoop-mapreduce
Mapreduce PID Dir Prefix/data/var/run/hadoop-mapreduce
mapreduce.jobhistory.recovery.store.leveldb.path/data/hadoop/mapreduce/jhs
Hive 
Hive Log Dir/data/var/log/hive
Hive PID Dir/data/var/run/hive
HBase 
HBase Log Dir Prefix/data/var/log/hbase
HBase PID Dir/data/var/run/hbase
Oozie 
Oozie Data Dir/data/hadoop/oozie/data
Oozie Log Dir/data/var/log/oozie
Oozie PID Dir/data/var/run/oozie
zookeeper 
ZooKeeper directory/data/hadoop/zookeeper
ZooKeeper Log Dir/data/var/log/zookeeper
ZooKeeper PID Dir/data/var/run/zookeeper
ambari-infra 
Metrics Collector log dir/data/var/log/ambari-metrics-collector
Metrics Collector pid dir/data/var/run/ambari-metrics-collector
Metrics Monitor log dir/data/var/log/ambari-metrics-monitor
Metrics Monitor pid dir/data/var/run/ambari-metrics-monitor
Aggregator checkpoint directory/data/var/lib/ambari-metrics-collector/checkpoint
Metrics Grafana data dir/data/var/lib/ambari-metrics-grafana
Metrics Grafana log dir/data/var/log/ambari-metrics-grafana
Metrics Grafana pid dir/data/var/run/ambari-metrics-grafana
hbase_log_dir/data/var/log/ambari-metrics-collector
hbase_pid_dir/data/var/run/ambari-metrics-collector/
hbase.tmp.dir/data/var/lib/ambari-metrics-collector/hbase-tmp
  
ambari-infra 
Infra Solr Client log dir/data/var/log/ambari-infra-solr-client
Infra Solr log dir/data/var/log/ambari-infra-solr
Infra Solr pid dir/data/var/run/ambari-infra-solr
spark 
livy2_log_dir/data/var/log/livy2
livy2_pid_dir/data/var/run/livy2
spark_log_dir/data/var/log/spark2
spark_pid_dir/data/var/run/spark2

 

 

等待安装完成

14788851-db0b65a325a24e25.png

image.png

 

 

直到所有节点成功安装完成才能进行下一步操作

14788851-1a4af7591ac2684e.png

image.png

最终结果界面类似如下：

14788851-7e426022f28bee53.png

image.png


安装完成！

 

三、后续操作

操作前最好先将集群打个快照备份

1、HDFS启用HA(高可用)

参考http://www.louisvv.com/archives/1490.html

step1：关闭hbase、hive相关服务

14788851-fd808d62609f68f6.png

image.png


step2:在HDFS选择Enable NameNode HA

14788851-7594c85a3bfbc74e.png

image.png


step3:输入namenode ha serverid

14788851-3ab4867f8d01f9c3.png

image.png


step4:默认，进入下一步

14788851-a0a7225f722573ce.png

image.png


step5:预览，直接进入下一步

14788851-302a9814487016f4.png

image.png


step6:创建checkpoint，根据提示执行下列命令

14788851-4bb7dafd98a232d7.png

image.png


根据提示在server1执行下列两条命令

14788851-bc131acf85539fe0.png

image.png


命令执行完成方可进入下一步

14788851-f3f2473859896bf1.png

image.png


step7:等待配置进程完成

14788851-1b974da6f29ccb47.png

image.png


step8:Journalnode初始化

14788851-e6ee70e03939dcfa.png

image.png


需要在原NameNode节点执行下列命令

 

sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'

 

14788851-a5b0667e6d53bd34.png

image.png


step9: 启动组件，进入下一步

14788851-950f0720ab45150a.png

image.png


step10:初始化元数据，

 

sudo su hdfs -l -c 'hdfs zkfc -formatZK'

 

14788851-79b905212c14d592.png

image.png


注意在 新添加的NameNode节点上操作

 

sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'

 

14788851-e1273fb94b1e7ab5.png

image.png

 

14788851-9ec96a9c23a63069.png

image.png


step11:等待所有服务重启，完成

14788851-6daae242c9def7bb.png

image.png

 

14788851-d51071f720d81856.png

image.png

beststone1
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
centOS 7安装Ambari2.6.2 HDP2.6.5 大数据集群搭建
ck978105293的博客
06-02 433
本文基于root用户操作 一、安装环境准备 操作系统 centos7.6 三台服务器以上 主机名IP映射配置 vi /etc/hosts #添加如下地址映射及FQDN（ambari注册时需要） 192.168.133.XX nl-bd1 192.168.133.XX nl-bd2 192.168.133.XX nl-bd3 配置ip,修改ifcfg-ens192 vi /etc/sysconfig/network-scripts/ifcfg-ens192 #修改为 .
Ambari2.6.2 HDP2.6.5 大数据集群搭建
weixin_30500105的博客
04-18 604
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SPARK-2.3.0 注：本文基于root用户操作 一、安装环境准备 操作系统 centos7.5 hdc-data1：192.168.163.51 hdc-data2：192.168.16...
最新版大数据平台安装部署指南，HDP-2.6.5.0，ambari-2.6.2.0
xuye0606的博客
08-11 976
一、服务器环境配置 1 系统要求 名称 地址 操作系统 root密码 Master1 10.1.0.30 Centos 7.7 Master2 10.1.0.105 Centos 7.7 Worker1 10.1..
Ambari2.6.2 安装HDP2.6.5（非root用户离线安装）
小小北漂
08-13 4896
一、下载安装包 　　因为使用在线安装特别慢，所有的安装包加起来有9个G左右，所以本教程是通过下载包，然后上传到服务器，通过配置本地源的方式来实现的离线安装。也可以事先直接在服务器上下载好相应的包，如下： nohup wget -c http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.0/ambari.rep...
HDP-2.6.5 & ambari-2.6.2 安装配置
weixin_34025151的博客
12-13 586
安装文件列表 * ambari-2.6.2.2-centos7.tar.gz * HDP-2.6.5.0-centos7-rpm.tar.gz * HDP-GPL-2.6.5.0-centos7-gpl.tar.gz * HDP-UTILS-1.1.0.22-centos7.tar.gz * jdk-8u162-linux-x64.tar.gz * apache-tomcat-8.5.27.tar...
AmbariServer高可用搭建指南
BalaBalaYi的博客
01-29 3809
一.前言 本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（Ambari 2.7.x），hortonworks官方并没有给出AmbariServer的高可用的内部实现。因此本篇文章主要讲解如何通过现有开源组件实现AmbariServer的高可用搭建。下述内容直接简称AmbariServer为Ambari。 ...
CentOS安装HDP集群-1 安装mysql、Ambari
蜗牛小将
12-28 798
安装HDP前，先要安装Ambari，它提供了图形化安装和管理hadoop集群。 CDH官网：https://docs.hortonworks.com/index.html 可以选择版本下载： 然后点安装 后面就到安装文档页面了,后面可以根据它来安装了。 本次安装环境介绍下,系统：CentOS6.8，三台主机，安装Ambari2.6.2，HDP2.6.5 用root用户安装。 基础环境准备：...
CentOS安装HDP集群 遇到的问题记录
热门推荐
蜗牛小将
01-03 1万+
这里主要记录一下安装hdp集群时遇到的问题。 看过我博客的可能会知道我之前装的是Ambari2.6.2，HDP2.6.5，安装到这里出现各种问题，后来领导说版本低，自己就直接重装并提高了版本，安装的是最新版Ambari2.7.3和HDP3.1.0，系统CentOS7.2。 前面安装过程都差不多，就不说了，到这里依然有各种错误。这里就记录下遇到的错误。 错误1. ambari自动在我的/etc/yu...
HDP发行版本ambari2.6.2.2安装指南
weixin_33713707的博客
08-24 353
2019独角兽企业重金招聘Python工程师标准>>> ...
Ambari-2.6.2.2 + HDP-2.6.5 （Centos7和Redhat7版本）的网盘下载地址
05-12
Ambari-2.6.2.2 版本是 Apache Ambari 的一个重要里程碑，它包含了对 Hadoop 分布式平台的优化和支持，而 HDP-2.6.5 则是 Hortonworks Data Platform 的一个版本，这个平台集合了多个 Hadoop 生态系统组件。...
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时列举了几条之前项目环境部署过程中遇到过的问题及解决办法，有爱好大数据领域的同学...
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包-HDP安装包大全
07-16
总结起来，Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu的安装包旨在帮助用户在Ubuntu环境中快速搭建和管理Hadoop集群，而"Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu.txt"文件是实现这一目标的关键资源，其中包含详尽的指导信息。...
cloudra的Ambari-2.7.5.0 和 HDP-3.1.5.0自行转存网盘
02-16
Ambari-2.7.5.0 和 HDP-3.1.5.0网盘地址确定可用
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
hive的内部表（MANAGED_TABLE）和外部表（EXTERNAL_TABLE）的区别
最新发布
qq_58462591的博客
08-01 241
外部表：外部表的存储在hdfs中，是我们指定的文件目录，当我们删除数据或者删除分区的时候不会将元数据删除，数据还会在hdfs目录中，我们还可以进行数据挂载。内部表：内部表的存储是在hdfs的默认目录下，当我们删除数据或者删除分区的时候会将元数据删除，数据文件也会被删除。运行指令找到table_type 如果为MANAGED_TABLE，那就是内部表，内部表和外部表的主要区别在于数据的存储方式。如果是EXTERNAL_TABLE,那就是外部表。
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 623
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
Flink DataStream API编程入门
L
08-01 147
DataStream API的名称来自于DataStream类，该类用于表示Flink程序中的数据集合。您可以将它们视为包含重复项的不可变数据集合。这些数据可以是有限的，也可以是无限的，但是用于处理它们的API是相同的。在使用方面，数据流与常规Java Collection类似，但在一些关键方面有很大不同。DataStream是不可变的，这意味着一旦创建了它们，就不能添加或删除元素。您不仅可以简单地检查其中的元素，还可以使用DataStream API算子（也称为转换）对它们进行处理。
消息队列-rabbitmq（生产者.消费者. 消息.可靠性）
2202_75352238的博客
07-28 901
在我们 生产者发送消息到交换机的时候，假如 我们发送到交换机 ，但是 队列没有收到消息，会返回ack，发送到交换机，然后发送到队列，消费者没有接收到消息返回ack，但是发送到交换机失败，会返回nack。死信交换机 ，都是假如一个定时消息过期了，或者发送延迟消息我们直接把该消息传递到我们绑定的死信交换机中，跟上文 消息发送失败了返回rejct之后，消息发送到err交换机是两种不同的策略。当一条消息发送失败的时候，消费者重新尝试消费消息，达到我们重试的次数之后，消费者返回reject，mq直接删除消息。
使用Ambari构建HDP企业级大数据集群实战
"该文档详细介绍了如何使用Ambari搭建HDP企业级大数据平台的生产集群，涵盖了集群规划、节点准备、本地yum源配置、Ambari-Server安装、Agent部署以及NameNode HA的启用等关键步骤。" 在大数据处理领域，Apache ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值