Hadoop学习笔记（HDP）-Part.10 创建集群

已于 2023-12-05 13:40:13 修改
阅读量1.2k 收藏 20
点赞数 15
分类专栏： hadoop 文章标签： hadoop 学习 笔记
于 2023-12-01 08:59:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glisten0317/article/details/134726148
版权

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

十、创建集群

1.创建集群

开始安装集群
在这里插入图片描述

(1)Get Started

在这里插入图片描述

(2)Selected Version

选择使用本地镜像仓库安装（Use Local Repository），将其他os部分删除
HDP-3.1：http://hdp01.hdp.com/HDP/centos7/3.1.5.0-152/
HDP-3.1-GPL：http://hdp01.hdp.com/HDP-GPL/centos7/3.1.5.0-152/
HDP-UTILS-1.1.0.22：http://hdp01.hdp.com/HDP-UTILS/centos7/1.1.0.22/
在这里插入图片描述

(3)Install Options

将hadoop集群中所有节点都加入（hdp01-05），并将hdp01的SSH私钥附上，查看私钥
hdp01.hdp.com
hdp02.hdp.com
hdp03.hdp.com
hdp04.hdp.com
hdp05.hdp.com

cat /root/.ssh/id_rsa

在这里插入图片描述

(4)Confirm Hosts

开始进入安装
在这里插入图片描述

(5)Choose Services

仅安装最基础的ZooKeeper、Ambari Metrics和smartsense
smartsense是hortonworks一个商业的组件功能，作用是监控集群并提供建议，建议是不使用。通常，此组件是安装ambari的时候的一个必选项，也就是说在安装ambari的时候它就强制绑定安装了。后面可以删除。
在这里插入图片描述

(6)Assign Masters

在这里插入图片描述

(7)Assign Slaves and Clients

按照指示，client为zookeeper的，选择在hdp04、hdp05上安装即可
在这里插入图片描述

(8)Customize Services

密码设置为lnyd@LNsy115
在这里插入图片描述
配置ZooKeeper路径
ZooKeeper directory：/data01/hadoop/zookeeper
ZooKeeper Log Dir：/var/log/zookeeper
ZooKeeper PID Dir：/var/run/zookeeper
在这里插入图片描述
配置Ambari Metrics路径
Aggregator checkpoint directory：/var/lib/ambari-metrics-collector/checkpoint
Metrics Grafana data dir：/var/lib/ambari-metrics-grafana
HBase Local directory：${hbase.tmp.dir}/local
HBase root directory：file:///var/lib/ambari-metrics-collector/hbase
HBase tmp directory：/var/lib/ambari-metrics-collector/hbase-tmp
HBase ZooKeeper Property DataDir：${hbase.tmp.dir}/zookeeper
Phoenix Spool directory：${hbase.tmp.dir}/phoenix-spool
Phoenix Spool directory：/tmp
Metrics Collector log dir：/var/log/ambari-metrics-collector
Metrics Monitor log dir：/var/log/ambari-metrics-monitor
Metrics Grafana log dir：/var/log/ambari-metrics-grafana
HBase Log Dir Prefix：/var/log/ambari-metrics-collector
Metrics Collector pid dir：/var/run/ambari-metrics-collector
Metrics Monitor pid dir：/var/run/ambari-metrics-monitor
Metrics Grafana pid dir：/var/run/ambari-metrics-grafana
HBase PID Dir：/var/run/ambari-metrics-collector/
在这里插入图片描述
设置各个服务的账号
Smoke User：ambari-qa
Hadoop Group：hadoop
Ambari Metrics User：ams
ZooKeeper User：zookeeper
在这里插入图片描述
待安装服务的所有配置
SMARTSENSE中的smartsense.id需要指定，不能为unspecified，可设置为1000
在这里插入图片描述

(9)Review

回顾之前的配置
在这里插入图片描述

(10)Install, Start and Test

安装相关服务
在这里插入图片描述

(11)Summary

在这里插入图片描述
安装完成后，先stop然后delete掉SmartSense服务。
在这里插入图片描述
在这里插入图片描述

2.确认ZooKeeper配置

ZooKeeper的配置文件，/etc/zookeeper/conf/zoo.cfg

clientPort=2181
autopurge.purgeInterval=24
syncLimit=5
quorum.cnxn.threads.size=20
initLimit=10
dataDir=/data01/hadoop/zookeeper
tickTime=3000
autopurge.snapRetainCount=30
quorum.auth.enableSasl=false

server.1=hdp01.hdp.com:2888:3888
server.2=hdp02.hdp.com:2888:3888
server.3=hdp03.hdp.com:2888:3888

配置解析：
① clientPort：客户端连接端口
客户端连接Zookeeper服务器的端口，Zookeeper会监听这个端口，接受客户端的访问请求。
② autopurge.purgeInterval：日志自动清理频率
指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。
③ syncLimit：LF同步通信时限
集群中的follower服务器与leader服务器之间请求和应答之间能容忍的最多心跳数（tickTime的数量）。
④ quorum.cnxn.threads.size：设置可使用的最大线程池
⑤ initLimit：LF初始通信时限
集群中的follower服务器(F)与leader服务器(L)之间初始连接时能容忍的最多心跳数（tickTime的数量）。
⑥ dataDir：数据文件目录
Zookeeper保存数据的目录，默认情况下，Zookeeper将写数据的日志文件也保存在这个目录里。
⑦ tickTime：CS通信心跳时间
Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime 时间就会发送一个心跳。tickTime以毫秒为单位。
⑧ autopurge.snapRetainCount：sanp保留数量
内存中的数据作为snapshot保存下来，该参数指定了需要保留多少个snapshot，之前的全删除。默认是保留3个。
⑨ quorum.auth.enableSasl：Sasl开关
⑩ server.A= B:C:D ：服务器名称与地址
（服务器编号，服务器地址，LF 通信端口，选举端口）
A是一个数字，表示这个是第几号服务器；
B是这个服务器的ip地址；
C表示的是这个服务器与集群中的Leader服务器交换信息的端口；
D表示的是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

3.常用指令

(1)服务端

  • 查看leader、follower
/usr/hdp/3.1.5.0-152/zookeeper/bin/zkServer.sh status

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在hdp01-03上分别查询可知，hdp03为leader，因为hdp03的myid最大

ansible nn,192.168.111.203 -m shell -a 'cat /data01/hadoop/zookeeper/myid'

在这里插入图片描述

(2)客户端

  • 连接
    zkCli.sh -server host:port
    指定连接节点，默认host=localhost，port=2181
/usr/hdp/3.1.5.0-152/zookeeper/bin/zkCli.sh -server hdp01.hdp.com:2181,hdp02.hdp.com:2181,hdp03.hdp.com:2181
  • znode节点操作
    ls path [watch]
    列出znode的子节点，同时可以设置一个监听器
ls /node1

create [-s] [-e] path data acl
创建一个znode节点，同时设置节点权限acl，-s表示创建有序节点，-e创建临时节点
znode需要按照层级去创建，如创建/node1/node2，需要先创建/node1，再创建/node1/node2

create /node1 test1
create /node1/node2 test2

ls2 path [watch]
列出znode的子节点，同时可以设置一个监听器，如：ls2 /，与ls的区别是ls2还可以获取到子节点个数等等状态信息

ls2 /node1

get path [watch]
获取znode节点的数据，同时可以注册一个监听器，如：get /mynode

get /node1
get /node1/node2

stat path [watch]
查看znode状态，如数据长度，时间戳等等，同时可以注册一个监听器

stat /node1
stat /node1/node2

set path data [version]
设置znode的数据，同时可以设置一个监听器，如：set /mynode “hello world”

set /node1 test3

设置完成后，mZxid（数据节点最后一次更新时的事务ID）会发生变化
在这里插入图片描述
在这里插入图片描述
delete path [version]
删除znode节点，注意路径为绝对路径，且不可删除拥有子节点的znode

delete /node1/node2/node3

在这里插入图片描述
rmr path
递归删除znode节点，与delete的区别是可以删除拥有子节点的znode

rmr /node1

在这里插入图片描述

  • ACL权限控制
    Zookeeper的acl权限由[scheme : id :permissions]三部分组成，其中scheme是认证类型，id一般指的是账号，也就是权限所针对的对象，permissions表示对节点的空权限类型
    Scheme可选项：
    world：默认模式，所有客户端都拥有指定的权限。world下只有一个id选项，就是anyone，通常组合写法为world:anyone:[permissons]；比如：setAcl /mynode world:anyone:crwda
    auth：只有经过认证的用户才拥有指定的权限。通常组合写法为auth:user:password:[permissons]，使用这种模式时，你需要先进行登录，之后采用auth模式设置权限时，user和password都将使用登录的用户名和密码；比如：setAcl /mynode auth:feng:123456:crwda
    digest：只有经过认证的用户才拥有指定的权限。通常组合写法为digest:user:BASE64(SHA1(password)):[permissons]，这种形式下的密码必须通过SHA1和BASE64进行双重加密；比如：setAcl /mynode digest:feng:xHBaNtDKjaz0G0F0dq11735c9r8=:crwda
    ip：限制只有特定IP的客户端才拥有指定的权限。通常组成写法为ip:182.168.0.168:[permissions]；比如：setAcl /mynode ip:192.168.28.213:crwda
    super：代表超级管理员，拥有所有的权限，需要修改Zookeeper启动脚本进行配置。
    Permissions可选项，在使用时，可以使用首字母进行简写（crwda,Creat/Read/Write/Delete/Admin）：
    CREATE：允许创建子节点；
    READ：允许从节点获取数据并列出其子节点；
    WRITE：允许为节点设置数据；
    DELETE：允许删除子节点；
    ADMIN：允许为节点设置权限。
    setAcl path acl
    给已有节点赋予权限，其中acl是权限
setAcl /node1 ip:192.168.111.201:crwd

getAcl path
查看节点的权限

getAcl /node1

在这里插入图片描述

  • 其他命令操作
    history
    查看当前会话中使用过的命令，每个命令会携带一个编号
    redo cmdno
    重新执行命令，cmdno是命令编号，可以使用history查看
    printwatches [on|off]
    是否输出watch事件，如果使用on或者off则表示设置
    sync path
    会强制客户端所连接的服务器状态与leader的状态同步，这样在读取path的值就是最新的值了
    quit
    直接退出当前的zkCli命令行
    close
    关闭连接，但不会退出当前zkCli命令行

4.常见错误

(1)ambari-metrics-collector重启后失败

查看日志/var/log/ambari-metrics-collector/ambari-metrics-collector.log
在这里插入图片描述
需要把/var/lib/ambari-metrics-collector/下的checkpoint、hbase和hbase-tmp删除，如需要也可以先备份，然后在重新启动metrics-collector服务

rm -rf /var/lib/ambari-metrics-collector/*

(2)Ambari-agent注册失败

报错信息

Internal Exception: com.mysql.jdbc.exceptions.jdbc4.MySQLIntegrityConstraintViolationException: Duplicate entry \'hdp04.hdp.com\' for key \'UQ_hosts_host_name\'\
Error Code: 1062\
Call: INSERT INTO hosts (host_id, cpu_count, cpu_info, discovery_status, host_attributes, host_name, ipv4, ipv6, last_registration_time, os_arch, os_info, os_type, ph_cpu_count, public_host_name, rack_info, total_mem) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)\
\\tbind => [16 parameters bound]\

确认错误原因为在MySQL中的hosts表中INSERT数据时主键的值已经存在导致，登录到ambari的MySQL数据库中，首先关闭外键约束，然后删除对应的记录，再打开外键约束，

use ambari;
select host_name from hosts;
SET FOREIGN_KEY_CHECKS=0;
delete from hosts where host_name = 'hdp04.hdp.com';
select host_name from hosts;
SET FOREIGN_KEY_CHECKS=1;

在这里插入图片描述
重启ambari-server服务，并重新注册即可恢复

ambari-server restart
这啥名啊
关注
  • 15
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
HDP集群搭建
LSur_king的博客
08-03 892
上一篇：Ambari集群搭建_LSur_king的博客 【搭建 HDP集群】 1.浏览器访问192.168.1.100:8080，进入ambari集群界面，用户名和密码admin/admin，开始初始化安装。 2.创建集群POLYV_HDP，选择3.1版本的HDP集群进行安装，使用本地仓库，把其他操作系统Remove掉。 填入本地文件服务器的URL： http://vm01/HDP/centos7/3.1.5.0-152/ http://vm01/HDP-GPL/ce..
使用HDP搭建并管理集群
10-18
使用集群管理工具HDP搭建hadoop集群，添加并管理相关的组件和服务
Hadoop学习笔记（HDP）-Part.08 部署Ambari集群
glisten0317的博客
12-01 1007
【hdp01】创建Ambari数据库。
Hadoop大数据平台
Sun__s的博客
04-06 1374
一、hadoop简介 Hadoop起源于Google的三大论文： GFS：Google的分布式文件系统Google File System MapReduce：Google的MapReduce开源分布式并行计算框架 BigTable：一个大型的分布式数据库 演变关系： GFS—->HDFS Google MapReduce—->Hadoop MapReduce BigTable—->HBase Hadoop名字不是一个缩写，是Hadoop之父Doug Cutting儿子毛绒玩具象命
最全Hadoop大数据集群搭建（超详细）_hadoop集群搭建(5)，2024年最新阿里P7大佬手把手教你
最新发布
m0_74932057的博客
05-16 1041
同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03。(img-2yzziykp-1715794854655)]在hadoop01，hadoop02和hadoop03上分别执行以下三行。
Ambari HDP集群搭建全攻略
张伟的专栏
01-12 492
（就是一个开源的hadoop一键式安装服务）此外，Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。此外，Ambari能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。（说白了就是可以偷好多懒）
CentOS7 利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 (超级详细步骤，含安装包下载地址)
Mr.L-OAM的博客
11-10 776
Ambari-2.7.5 HDP-3.1.5 CentOS7利用 Ambari-2.7.5 搭建 HDP-3.1.5 集群 Ambari-2.7.5 安装包下载 HDP-3.1.5 安装包下载 Ambari-server 服务部署 HDP 集群部署 本地离线部署HDP-3.1.5
ambari搭建HDP集群
qq_32674727的博客
08-21 386
1. cat /proc/version （Linux查看当前操作系统版本信息） 2.cat /etc/issue  或cat /etc/redhat-release（Linux查看版本当前操作系统发行版信息） 3.lsb_release -a 当前操作系统 的 详细信息     先安装一个 cdh试一下 后面再安装这个...
[HDP3.1.4.0集群搭建] 通过Ambari从零开始安装和设置 Ambari server，部署HDP集群
小哇
09-22 878
首先确保以下步骤都成功进行，没有特别说明的话，集群中每个节点都要执行以下的步骤1 创建集群操作的单独用户和组，如hadoop用户，hadoop组，主要是方便管理https://blog.csdn.net/qq_41712271/article/details/1086889452 赋予用户 sudo的权限，后期所有的操作都用 hadoop用户来进行https://blog.csdn.net/qq_41712271/article/details/1086889773 配置 hostname，每个节点都把集群
Ambari+HDP+HDP-UTILS.rar
03-28
总结来说，这个压缩包提供了搭建和管理Hadoop集群所需的核心组件，包括Ambari的源码以便于定制，HDP的RPM包用于快速部署，以及HDP-UTILS的实用工具集，以帮助用户更有效地管理和维护大数据环境。对于想要学习和使用...
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
Cloudera收费之后，CDH和HDP都需要订阅才能下载，这里是网盘地址，欢迎大家下载。内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时...
Hadoop集群HDP-2.6.4的部署
08-09
本文档详细描述了ambari-server的安装以及如何使用ambari安装HDP版本的大数据集群包括Hadoop，hbase，hive，spark等所有大数据组件的安装
全程实操从零学习掌握HDP集群视频教程
10-14
手把手视频详细讲解项目开发全过程，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 课程简介 从零学习HDP集群环境的安装和配置，通过一步步的实操和讲解带领学生掌握对应的技术。 课程亮点 1，专项攻破HDP集群的安装和配置。 2，生动形象，化繁为简，讲解通俗易懂。 3，全程实操，边操作边讲解，不再只听概念。 适用人群 1、对大数据技术感兴趣的在校生及应届毕业生。 2、Hadoop从业者，希望进一步提升个人技能，拓展职业路线。 3、对大数据行业感兴趣的相关人员。 4、对HDP感兴趣的相关人员。 课程内容： 1、HDP简介 2、HDP管理控制台安装 3、通过HDP管理控制台安装部署集群组件
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
hdp集群扩容
jyj019的博客
01-10 1297
hdp扩容前检查 在扩容前做好检查，很多问题都可以避免： 检查磁盘是否挂载完成，尤其是对于数据盘。 检查节点之间是否做好免密（非常重要）：必须集群每个节点之间都要做好免密。 检查java和python环境 检查时间同步是否完成（ntp） 添加yum源 cd /etc/yum.repos.d/ 增加 amabri.repo HDP.repo HDP-UTILS.repo 安装agent yum install -y ambari-agent 在url新增节点和免密 ...
Hadoop学习第二篇之HDP集群搭建
qq_37348649的博客
12-17 369
1、登陆Ip+8080 admin/admin ，这都是默认的端口号和账户密码修改默认端口号 #change client port vim /etc/ambari-server/conf/ambari.properties client.api.port 2、输入集群名字 3、选择版本建议默认 4、输入上篇文章中自制的源路径 #第一个框框如果不知道自己系统是什...
基于大数据平台的毕业设计01：基于Docker的HDP集群搭建
CatchLight的博客
10-28 4533
好多人问我，这种基于大数据平台的xxxx的毕业设计要怎么做。这个可以参考之前写得关于我大数据毕业设计的文章基于大数据平台的毕业设计。这篇文章是将对之前的毕设进行优化。个人觉得可以分为两个部分。第一个部分就是基础的平台搭建。例如Hadoop集群、Kafka集群。第二个部分就是上层应用的建设，例如基于大数据平台的数据分析，以及大屏展示之类的可视化应用。前者提供了基础平台能力，让整个设计加入大数据元素；后者提供了上层应用能力，主要是让别人明白你利用大数据平台做了什么。前些日子闲得无聊，在一台虚拟机。
hadoop集群搭建mapred-site.xml文件
05-16
mapred-site.xml文件是Hadoop集群中用于配置MapReduce框架的核心配置文件之一。 以下是一个简单的mapred-site.xml文件的示例： ```xml <?xml version="1.0"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobtracker.address</name> <value>localhost:54311</value> </property> <property> <name>mapreduce.jobtracker.http.address</name> <value>localhost:50030</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>localhost:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>localhost:19888</value> </property> </configuration> ``` 其中，配置项的含义如下： - mapreduce.framework.name：指定MapReduce框架的运行模式，这里设置为yarn，表示在Yarn上运行。 - mapreduce.jobtracker.address：指定JobTracker的地址和端口号。 - mapreduce.jobtracker.http.address：指定JobTracker的Web界面地址和端口号。 - mapreduce.jobhistory.address：指定JobHistoryServer的地址和端口号。 - mapreduce.jobhistory.webapp.address：指定JobHistoryServer的Web界面地址和端口号。 注意：以上配置项中，部分配置在Hadoop 2.x版本以后已经废弃，可以不必配置。如果需要了解更多的MapReduce配置项，请参考Hadoop官方文档。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这啥名啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值