Hadoop学习笔记（HDP）-Part.03 资源规划

已于 2023-12-05 13:38:43 修改
阅读量1.1k 收藏 23
点赞数 13
分类专栏： hadoop 文章标签： 学习 笔记 hadoop
于 2023-12-02 10:17:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glisten0317/article/details/134725852
版权

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

三、资源规划

1.资源配置

主机名FQDNIP服务器配置
hdp01hdp01.hdp.com192.168.111.201/248c、8G、200GB+50GB
hdp02hdp02.hdp.com192.168.111.202/248c、8G、200GB+50GB
hdp03hdp03.hdp.com192.168.111.203/248c、8G、200GB+3*100GB
hdp04hdp04.hdp.com192.168.111.204/248c、8G、200GB+3*100GB
hdp05hdp05.hdp.com192.168.111.205/248c、8G、200GB+3*100GB

2.磁盘规划

主机磁盘分布
hdp01
hdp02		/dev/sda：系统盘
/dev/sdb：/data01，MySQL、zookeeper、NameNode、JournalNode
hdp03/dev/sda：系统盘
/dev/sdb：/data01，zookeeper、DataNode、JournalNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode
hdp04
hdp05		/dev/sda：系统盘
/dev/sdb：/data01，DataNode
/dev/sdc：/data02，DataNode
/dev/sdd：/data03，DataNode

3.组件规划

组件版本hdp01hdp02hdp03hdp04hdp05
ansible2.9.27★
MySQL5.7.25★★
Ambari-metricsMetrics Collector0.2.0★
Metrics Monitor★★★★★
Grafana★
ZooKeeperZooKeeper Server3.4.6★★★
ZooKeeper Client★★
HDFSNameNode3.1.1.3.1★★
DataNode★★★
JournalNode★★★
zkfc★★
YARNResourceManager3.1.1★★
NodeManager★★★
HistoryServer★
TimelineService★
Timeline Service Reader★
Registry DNS★
OpenLDAPopenldap-server2.4.44★★
openldap-client★★★★★
migrationtools★★
phpldapadmin★★
keepalivedv1.3.5★★
HaProxy1.5.18★★
kerberosKrb5-server1.15.1★★
krb5-workstation★★★★★
RangerRanger Admin1.2.0.3.1★★
UserSync★
HiveHiveServer23.1.0★★
MetaStore★★
Tez0.9.1★★★★★
HBaseHMaster2.0.2★★
RegionServer★★★
SparkSpark2 History Server2.3.0★
Flinkclient1.9.3★★★★★
Kafkabroker2.0.0★★★
kafka manager2.0.0.2★
Flumeflume1.9.0★★★
这啥名啊
关注
  • 13
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop | 集群配置（三）完全分布式集群规划 | 配置详情
希望每天都能进步一点点
01-16 1440
参考资料 视频链接 厦大实验室 运行环境 JDK8 hadoop3.1.3 3个集群节点，分别为hadoop101、hadoop102、hadoop103 hadoop 1.x到2.x的升级 解决问题： 组件 Hadoop1.x的问题 Hadoop 2.x的改进 HDFS 单一名称节点，存在单点失效问题 设计了HDFS HA，提供名称节点热备机制 HDFS 单一命名空间，无法实现资源隔离 设计了 HDFS Federation，管理多个命名空间 MapReduce 资源管理
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
百PB级Hadoop集群存储空间治理
Hadoop技术博文
05-05 562
现在这个世道，随便什么公司什么人都张嘴闭嘴大数据，连做个几十人的问卷都敢叫大数据调查分析。真是无知者无畏。但也真有不少公司是真的有足够大的数据量的，也确实是在用心做大数据...
大数据技术之Hadoop-分布式计算和资源调度
qq_33934592的博客
03-04 752
一、分布式计算概述。
Hadoop学习笔记（HDP）-Part.12 安装HDFS
glisten0317的博客
12-01 1357
HDFS依赖libtirpc-devel，因此需要先安装libtirpc-devel。创建yml文件，/root/ansible/libtirpc.yml执行。
四、Hadoop集群规划及配置
铭绵羊
12-13 1383
1）理论规划 （1）HDFS：NameNode、DataNode、SecondaryNameNode （2）Yarn：ResoureManager、NodeManager （3）NameNode、SecondaryNameNode、ResourceManager对资源的需求比较大，应该把他们三个分布到不同的机器上 （4）按照hadoop官方默认的3个副本来说，最少需要3个DataNode节点，也就是3台机器 （5）NodeManager主要管理的是DataNode机器上的资源，因此NodeManager和D
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
Cloudera收费之后，CDH和HDP都需要订阅才能下载，这里是网盘地址，欢迎大家下载。内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时...
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop学习笔记（HDP）-Part.13 安装Ranger
glisten0317的博客
12-01 1399
选择不安装Ranger Tagsync。
集群硬件规划
雾幻的博客
04-13 4230
1. 总体规划的考虑 Hadoop集群的瓶颈：IO（Disk，Net） Spark集群的瓶颈：CPU，内存 hadoop可以在一台机器上运行，该方式主要用于测试，显然不适合大量的数据。许多人从一个小的集群开始，并根据需要增长它最初可能只有4到6个节点。随着数据量的增长，可以很容易地添加更多的节点。 决定集群何时需要增长的方法： 需要增加计算能力，增加需要存储的数据量，增加处理任务所需的内...
Hadoop学习笔记（HDP）-Part.10 创建集群
glisten0317的博客
12-01 1194
开始安装集群。
强化学习——学习笔记3
qq_52302919的博客
05-29 1235
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
学习整理 docker
最新发布
wonder_dog的博客
05-31 96
nexus。
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1067
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
oracle中的INTERVAL函数学习总结
weixin_42821740的博客
05-30 326
简单学懂interval函数
前端技术入门学习：探索数字世界的奇幻之旅
qwertyhn_0024的博客
05-27 207
HTML定义了网页的结构和内容，CSS负责样式和布局，而JavaScript则实现了网页的交互功能。对于初学者来说，前端技术既是一个充满魅力的新世界，也是一个充满挑战与困惑的领域。本文将引导您从四个方面、五个方面、六个方面和七个方面深入理解前端技术，开启您的学习之旅。在这个过程中，我们需要不断探索、学习和实践，才能逐步掌握这门技艺的精髓。同时，我们也需要保持敏锐的洞察力和开放的心态，不断适应和应对前端技术领域的变化和发展。同时，随着人工智能、大数据等新技术的不断涌现，前端技术也将面临更多的挑战和机遇。
hadoop如何配置core-site.xml
04-18
Hadoop的core-site.xml配置文件主要用于配置Hadoop的核心属性，如HDFS文件系统的URI、Hadoop运行环境的I/O设置等。 具体配置步骤如下： 1. 在Hadoop配置目录下找到core-site.xml文件，通常为$HADOOP_HOME/etc/hadoop/core-site.xml。 2. 打开core-site.xml文件，修改配置属性。 3. 配置属性说明： - hadoop.tmp.dir：指定Hadoop所使用的临时目录。 - fs.defaultFS：指定Hadoop的主文件系统（HDFS）的URI。 - io.file.buffer.size：指定Hadoop读写文件时缓冲区大小。 - hadoop.proxyuser.username.hosts：指定代理用户所拥有的主机。 - hadoop.proxyuser.username.groups：指定代理用户的用户组。 4. 保存并关闭core-site.xml文件。 以上是关于Hadoop如何配置core-site.xml的简要步骤，希望能够帮助到你。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这啥名啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值