基于Ambari的HDP搭建

最新推荐文章于 2024-04-17 06:23:03 发布
最新推荐文章于 2024-04-17 06:23:03 发布
阅读量483 收藏
点赞数
分类专栏： BigData 文章标签： ambari hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PAyy_413/article/details/132909314
版权

基于Ambari的HDP搭建

一、环境准备

1.修改hosts和hostname

临时且永久生效，不用重启服务器(需断开连接重连）

hostnamectl set-hostname xxx

2.配置免密

​ 因为在ambari和hdp部署过程中，ambari和hdp部署的节点都有可能互相访问，所以建议每个节点之间都可以ssh无密码登录，包括它们自己登录到自己。

ssh-keygen
ssh-copy-id 你想连的机器ip
把私钥id_rsa拷给你想连的机器
再给自己注册一份ssh-copy-id 自己的ip

3.关闭防火墙

1）查看防火墙状态：firewall-cmd --state
2）关闭防火墙：systemctl stop firewalld.service
3）禁止防火墙开机启动：  systemctl disable firewalld.service
4）查看服务是否开机启动：  systemctl is-enabled firewalld.service

4 关闭SELinux(相当于360杀毒软件)

1）查看关闭状态
/usr/sbin/sestatus -v
2）关闭方法
vim /etc/selinux/config
把文件里的SELINUX=disabled
3）临时关闭selinux（无需重启），从enforcing（强制模式：拦截访问）到permissive（启动宽松模式：不拦截访问）
setenforce 0 
4）查看当前模式
getenforce
/usr/sbin/sestatus -v 查看selinux的修改状态

5.修改系统Linux值

使用ulimit -a来查看所有限制值
ulimit -a
其中“open files  (-n) 1024”，是Linux操作系统对一个进程打开的文件句柄数量的限制
修改ulimit大小
ulimit -n 10000

6.安装jdk

rpm -ivh jdk-8u144-linux-x64.rpm
（会自动安装在/usr/java/下）
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME

7.安装mysql

mkdir -p /opt/tools/mysql
tar -xf mysql-5.7.22-1.el7.x86_64.rpm-bundle.tar -C /opt/tools/mysql

# 删除系统自带的MySQL-libs
    yum remove -y mysql-libs

# 安装server时要依赖
yum install -y net-tools

# 离线安装
rpm -vih /opt/tools/mysql/mysql-community-common-5.7.22-1.el7.x86_64.rpm
rpm -vih /opt/tools/mysql/mysql-community-libs-5.7.22-1.el7.x86_64.rpm
rpm -vih /opt/tools/mysql/mysql-community-client-5.7.22-1.el7.x86_64.rpm
yum install -y  /opt/tools/mysql/mysql-community-server-5.7.22-1.el7.x86_64.rpm
rpm -ivh /opt/tools/mysql/mysql-community-libs-compat-5.7.22-1.el7.x86_64.rpm

# 启动MySQL
systemctl start mysqld

systemctl status mysqld


# cat /var/log/mysqld.log | grep password 查看初始化密码

# 登录
mysql -uroot -p
# 输入初始化密码

# 设置校验密码的长度
set global validate_password_policy=LOW; 
# 修改密码
set password=PASSWORD('12345678');
# 修改my.cnf,默认在/etc/my.cnf，执行：vim /etc/my.cnf，添加如下内容：
[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character_set_server=utf8
#创建ambari和hive的元数据库以及对外开放权限

create database ambari character  set utf8;
grant all on ambari.* to 'ambari'@'%' identified by 'ambari_root';
flush privileges;


create database hive character  set utf8;
grant all on hive.* to 'hive'@'%' identified by 'hive_root';
flush privileges;



set global validate_password_policy=LOW; 
grant all privileges on *.* to 'root'@'%' identified by '12345678';
flush privileges; 


# 重启生效
systemctl restart mysqld

#mysql开机自启
systemctl enabled mysql

8.配置http服务

yum -y install httpd
systemctl start httpd
systemctl status httpd

9.集群包和配置

创建一个wbe目录：mkdir -p /var/www/html

在这里插入图片描述

1）Ambari：web应用程序，后台维Ambari server，主要与负责HDP部署的集群工作节点通信等。

    tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/
cp /var/www/html/ambari/centos7/2.7.5.0-72/ambari.repo /etc/yum.repos.d
vim /etc/yum.repos.d/ambari.repo

在这里插入图片描述

2）HDP：包中有很多常见的工具，比如hadoop，hive，hbase等

tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/
cp /var/www/html/HDP/centos7/3.1.5.0-152/hdp.repo /etc/yum.repos.d
vim /etc/yum.repos.d/hdp.repo
如上图所示

3）HDP-UTIL：公共包，比如zk一些公共组件

操作如上

4）HDP-GPL：一些开源的

操作如上

10.集群安装部署

1）在安装ambari的机器上执行yum install ambari-server命令，操作如下所示:

yum -y install ambari-server

如报错，看报错原因。如拒绝连接，有可能http服务没开。或者配置文件没配好，再检查检查。

#ambari-server安装完成之后才能有以下操作
#使用ambari库，生成元数据表
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql;

#jdbc
yum install mysql-connector-java
生成的java包自动在/usr/share/java/下

生效（安装完ambari-server服务才能执行）
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

2）没有报错的话，ambari-server安装成功，接下来执行

ambari-server setup -j /usr/java/jdk1.8.0_144
-j 后面是指定的jdk的location

出现提示就输入y，其他回车。

默认是启动postgre数据库来存储元数据。前面咱们安装了mysql，在这里也可以选择mysql。

3）启动ambariserver服务

ambari-server start
如果报错
ERROR: Exiting with exit code 1.
REASON: Server not yet listening on http port 8080 after 90 seconds. Exiting.
不用管jps查看后台正常运行server，直接访问web即可

Ambari-server启动成功后，可以通过http://node1:8080访问，用户名和密码都是admin；

在这里插入图片描述

二、平台页面安装向导

0.点击开始安装向导

在这里插入图片描述

在这里插入图片描述

1.Select Version 选择版本

因为我们装的是HDP3版本所以这里会自动识别，不用在选择。

需要勾选一下我们使用本地的存储库。

在这里插入图片描述

因为我们装的是CentOs7版本的，所以下面除了红帽7这个留着，其他的都remove掉

在这里插入图片描述

2、Install options安装选项

在这里插入图片描述

3.Confirm Hosts 验证hosts

因为我只装了两台，所以这里只有两个

在这里插入图片描述

4.Choose Server选择服务

我们先安装常见的服务，后期需要什么可随时addserver

我这里只选择了一些基础的组件

在这里插入图片描述

5.Assign Master 分配主机点

这里虽然默认帮我们分配好了 但尽量要让每台节点都均衡一下。

在这里插入图片描述

6.Assign Slaves and Clients 分配从属服务器和客户端

在这里插入图片描述

7.Customize Services 自定义服务

在这里插入图片描述

在这里插入图片描述

剩下的第8、9、10步骤，如果上面操作没问题的话。等着安装完成即可！！

最后如果你看到了这个页面，恭喜你完成搭建。

在这里插入图片描述
注意：如果需要HDP资源包，可给我留言~~

芋圆味洋葱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【大数据（一）】hadoop2.4.1集群搭建(重点)
shanglin1122的博客
01-04 1057
解压到 Hadoop/apps : tar -zxvf hadoop-2.6.4.tar.gz -C /home/hadoop/apps。进入目录：cd /home/hadoop/apps/hadoop-2.6.4/etc/hadoop。alt+p 后出现sftp窗口先上传hadoop的安装包到服务器上去/home/hadoop/直接修改 /etc/sysconfig/network-script/ifcfg-eth0。注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop。
Ambari以及HDP搭建大数据集群
weixin_43790195的博客
04-26 1062
注： 1、主机均为centos7 2、 安装使用root用户， 3、避免权限问题导致的不成功 四台主机安装，分配如下： hdp-01 作为：ambari-serrver，hdp-02~hdp-04 作为ambari-agent 一、安装前的系统设定 1) 修改机器名、Hosts文件 # vim /etc/hostname hdp-01 # vim /etc/hosts 192.168.3....
Ambari集群部署全流程(1)
最新发布
2401_84415683的博客
04-17 521
互联网大厂比较喜欢的人才特点：对技术有热情，强硬的技术基础实力；主动，善于团队协作，善于总结思考。无论是哪家公司，都很重视高并发高可用技术，重视基础，所以千万别小看任何知识。面试是一个双向选择的过程，不要抱着畏惧的心态去面试，不利于自己的发挥。同时看中的应该不止薪资，还要看你是不是真的喜欢这家公司，是不是能真的得到锻炼。其实我写了这么多，只是我自己的总结，并不一定适用于所有人，相信经过一些面试，大家都会有这些感触。下面有部分截图希望能对大家有所帮助。
Ambari2.7整体编译+安装使用
CREATE_17的博客
11-12 4628
最近Ambari发布了新版本——v2.7.1，支持HDP_3.0.1版本，较Ambari2.6相比，最直观的感觉就是Web UI有了很大的改变，更加的美观；支持的hadoop相关组件，也是较新的版本；同时也增加了很多新特性等等，好处多多，首先来了解一下整体编译，毕竟整体编译过了，才能进行二次开发 一、获取Ambari2.7.1源码 wget http://www.apache.org/dist...
ambari-2.7.5+hdpHDP-3.1.5
one_uueu的博客
11-16 3676
1.查看linux版本、内核、cpu、内存 [root@localhost ~]# cat /etc/redhat-release CentOS Linux release 7.8.2003 (Core) [root@localhost ~]# [root@localhost ~]# uname -a Linux localhost.localdomain 3.10.0-1127.el7.x86_64 #1 SMP Tue Mar 31 23:36:51 UTC 2020 x86_64 x86_64 x8
HDP直播个性化设置教程，简单几步提升电视盒子/投影仪观影体验
m0_73431414的博客
10-17 2333
电视上没有安装【美家市场】这个app的，可以先在网上搜一下它的官网，下载一个安装包到U盘然后安装到电视上，不光可以下HDP直播，还有什么电视家纯净版、酷看直播纯净版、火星直播纯净版都有的
大数据ambari2.7.3 + hdp3.1.0 网盘地址
02-16
现在都收费了，自行下载并保存到网盘确定可用
Ambari生产集群搭建
01-07
Ambari + HDP 企业级大数据平台搭建详细过程
Ambari hdp升级说明
11-10
当前环境配置为 Ambari 2.5.2.0 和 HDP 2.6.2.0，目标是升级到 Ambari 2.6.0.0 和 HDP 2.6.3.0。升级过程主要分为两个部分：Ambari 的升级和 HDP 的升级。 首先，我们需要遵循官方文档进行操作。Ambari 的升级指南...
ambari环境搭建 .docx
07-08
Ambari2.73+HDP3.1.0.0 离线部署，包括环境配置，从零开始。Ambari通过其RESTful API提供了直观，易于使用的Hadoop管理Web UI。
Ambari2.7.3+HDP3.1.0安装部署详细步骤说明文档 .docx
05-22
Ambari2.7.3+HDP3.1.0基础集群搭建，步骤详细，已实践验证过，搭建成功完成，分享给需要的人
Ambari和HDP下载网盘地址(Ambari-2.5.2.0 + HDP-2.6.2.14)
03-25
Cloudera收费之后，CDH和HDP都需要订阅之后，才能下载，这里是网盘地址，大家可以进行下载。该网盘内容是：Ambari-2.5.2.0-centos7.tar.gz，HDP-2.6.2.14-centos7-rpm.tar.gz，HDP-UTILS-1.1.0.21-centos7.tar.gz，绝对真实。。 。。。。一定要注意：其他版本如Ambari-2.7.3.0 + HDP-3.1.0.0，Ambari-2.7.4.0+HDP-3.1.4.0，Ambari-2.7.5.0 + HDP-3.1.5.0版本可以私信我。其他版本一定要联系博主，否则下载错误，不负责，链接失效也可以私信我。
大数据HDPAmbari2.7.7ambari-agent-2.7.7.0-0.x86-64.rpm
11-03
[大数据][HDP][Ambari][2.7.7]ambari-agent-2.7.7.0-0.x86_64.rpm Apache Ambari 是一个用于配置、管理和监控 Apache Hadoop 集群的工具。Ambari 由一组 RESTful API 和一个基于浏览器的管理界面组成。 ambari-agent是用于管理群集节点的代理器。详细安装步骤参考https://github.com/apache/ambari/
Ambari2.7.5+HDP3.1.5 离线安装网盘下载地址
09-16
免费的。还有HDP3.2.1等资源，欢迎下载，转发，收藏，点赞！
HDP 01.Ambari安装和配置
80后大叔爱学习
11-02 1810
1、节点说明 1.2ambari.tianlingqun.com 主要用于Ambari管理(ambari-server) 用于存放元数据的MySQL数据库也安装到该节点（元数据主要包括：Ambari,Hive,Ranger,Hue,Azkaban,Superset等) 1.3client-v[01,02].tianlingqun.com 两台客户端机器，均安装Azkaban-exec;Azkaban-web独立安装(Azkaban-web不支持HA)到client-v...
ambari安装部署HDP集群
a13568hki的博客
08-02 456
4.1.1 访问ambari界面 执行成功后，浏览器访问[ambari_server_ip]:8080 账户：admin 密码：admin 4.1.2 开始安装hdp 4.1.3 创建集群 Create a Cluster–Get Started–Name your cluster：BFD_test–Next，详见下图： 4.1.4 选择HDP版本 Select Version–HDP-2.6.1.0–Use Local Repository–redhat7 详见下图： 添加所需路径为 /etc
基于Ambari的大数据平台搭建
a934079371的博客
08-25 1064
同CDH部署类似，步骤分为ambari的部署和hdp的部署，先以1台为例(内存>6G，磁盘划分/至少40G，/data/10G)，后续节点可以通过扩容方式加入集群，可参考：http...
最新版Ambari2.75安装及HDP3.1.5集群搭建
NDF923的专栏
05-06 8967
最近打算使用ambari搭建集群，却突然发现Cloudera相关软件包括HDP、CDH都收费了，都需要有效的订阅，并且只能通过付费墙进行访问（官宣地址：https://cn.cloudera.com/downloads/paywall-expansion.html#）。还好笔者千辛万苦在内外网找了两天才搞到最新版ambari2.7.5和HDP3.1.5的二进制安装包。以下详细介绍ambari的安装，及使用ambari搭建HDP集群的详细步骤，以及遇到的各种问题；文末有提供ambari2.7.5和HDP3.1
ambari hdp资源
07-07
### 回答1： Ambari HDP资源是指在Hortonworks Data Platform (HDP) 中使用的Ambari资源。Ambari是一个开源的集群管理平台，用于在Hadoop集群上进行资源和服务的管理。HDP是一个基于开源技术的大数据平台，它提供了一个集成的解决方案，用于存储、处理和分析大规模数据。 Ambari HDP资源主要包括以下几个方面： 1. 主机资源：Ambari HDP资源包括在集群中管理的所有主机资源。这些资源可以是物理服务器、虚拟机或云服务器。通过Ambari可以方便地查看和管理集群中的主机资源，并进行相应的配置和监控。 2. 存储资源：Ambari HDP资源还涉及到集群中的存储资源。这些资源主要是指用于存储和管理大规模数据的存储设备，如HDFS（Hadoop分布式文件系统）。Ambari可以帮助管理员配置和管理存储资源，确保数据的高可用性和可靠性。 3. 服务资源：Ambari HDP资源还包括集群中运行的各种服务的资源，如Hadoop、Hive、Spark等。这些服务是构建在HDP平台上的组件，用于数据处理、分析和查询。通过Ambari，管理员可以轻松地启动、停止和监控这些服务，并进行相应的参数配置和负载均衡。 4. 应用程序资源：Ambari HDP资源还包括在集群中运行的各种应用程序的资源。这些应用程序可以是自定义的MapReduce作业、Spark作业或其他大数据应用。通过Ambari，管理员可以方便地管理和监控这些应用程序，并对其进行调度和优化。 总之，Ambari HDP资源是集群中使用的各种主机、存储、服务和应用程序的资源。通过Ambari平台，管理员可以方便地进行资源的配置、监控和管理，提高集群的性能和可靠性。 ### 回答2： Ambari HDP资源是指通过Ambari管理工具来管理Hortonworks Data Platform（HDP）的各种资源。HDP是一个开源的分布式数据处理平台，它提供了各种处理大数据的工具和技术。 Ambari是Hortonworks开发的一款用于管理和监控Hadoop集群的工具，它可以实现对HDP资源的集中管理。Ambari HDP资源包括了集群中的各个组件，例如Hadoop分布式文件系统（HDFS），YARN资源管理器，HBase，Hive，Spark等。通过Ambari，管理员可以方便地监控每个组件的运行状态，进行配置和维护。 使用Ambari HDP资源，管理员可以轻松地进行集群的扩展和升级。通过Ambari界面，可以添加新的节点到集群中，使其参与到任务的执行中，从而提高集群的处理能力。同时，当需要升级HDP版本时，管理员也可以通过Ambari来进行集群的无缝升级，而不需要手动操作每个节点。 另外，Ambari还提供了一些监控和报警功能，可以实时监控集群的状态。管理员可以通过Ambari配置报警规则，当集群出现故障或者性能下降时，会自动触发报警通知管理员进行处理。 总结来说，Ambari HDP资源是指通过Ambari来管理和监控Hortonworks Data Platform的各个组件和资源，包括了集群的扩展、升级和监控等功能。通过Ambari，管理员可以更加方便地管理大数据处理平台，提高集群的效率和稳定性。 ### 回答3： Ambari HDP 资源是指在使用 Hadoop 分布式计算平台时，通过 Ambari 进行资源管理和监控的相关组件和功能。 Ambari 是一种用于管理和监控 Hadoop 分布式计算平台的开源软件。它提供了一个直观的 Web 用户界面，帮助用户轻松部署、配置、管理和监控 Hadoop 群集。Ambari HDP资源是在该平台上用于管理和监控 HDP (Hortonworks Data Platform) 的相关资源。 HDP 是一种在企业环境中运行 Hadoop 的解决方案。它包含了一系列开源软件组件，如Apache Hadoop、Apache Hive、Apache Spark、Apache HBase等。HDP 提供了对大规模数据处理和存储的支持，帮助用户在分布式环境中高效地存储、管理和分析大数据。 Ambari HDP 资源提供了以下功能： 1. 集群部署和配置：用户可以通过 Ambari HDP 资源对 HDP 群集进行快速和简单的部署和配置。将资源分配到集群中的各个节点，配置相关的参数和选项。 2. 资源管理：Ambari HDP 资源可以帮助用户管理 HDP 群集中的资源。通过 Ambari HDP，用户可以添加、删除和监视 Hadoop 集群的各个节点和服务。 3. 监控和日志：Ambari HDP 资源可以实时监控 Hadoop 集群的状态和性能。它提供了可视化的监控仪表盘，用户可以查看各个节点和服务的健康状况、资源利用率、负载等信息。此外，Ambari HDP 还能够收集和管理 Hadoop 集群的日志信息，帮助用户快速排查和解决问题。 总而言之，Ambari HDP 资源是在使用 Hadoop 分布式计算平台时，通过 Ambari 进行资源管理和监控的相关组件和功能。它简化了 Hadoop 集群的部署、配置和管理过程，提高了群集的可靠性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值