Hadoop学习笔记（HDP）-Part.01 关于HDP

已于 2023-12-05 13:37:24 修改
阅读量787 收藏 12
点赞数 9
分类专栏： hadoop 文章标签： 学习 笔记 hadoop
于 2023-12-01 09:15:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/glisten0317/article/details/134726476
版权

目录
Part.01 关于HDP
Part.02 核心组件原理
Part.03 资源规划
Part.04 基础环境配置
Part.05 Yum源配置
Part.06 安装OracleJDK
Part.07 安装MySQL
Part.08 部署Ambari集群
Part.09 安装OpenLDAP
Part.10 创建集群
Part.11 安装Kerberos
Part.12 安装HDFS
Part.13 安装Ranger
Part.14 安装YARN+MR
Part.15 安装HIVE
Part.16 安装HBase
Part.17 安装Spark2
Part.18 安装Flink
Part.19 安装Kafka
Part.20 安装Flume

一、关于HDP

1.Ambari

Ambari是一种基于Web的工具，支持Apache Hadoop集群的创建、管理和监控。
Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
Ambari自身也是一个分布式架构的软件，主要由两部分组成：Ambari Server和Ambari Agent。简单来说，用户通过Ambari Server通知Ambari Agent安装对应的软件；Agent会定时地发送各个机器每个软件模块的状态给Ambari Server，最终这些状态信息会呈现在Ambari的GUI，方便用户了解到集群的各种状态，并进行相应的维护。

2.HDP

不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进）、Cloudera版本（Cloudera’s Distribution Including Apache Hadoop，简称CDH）、Hortonworks版本(Hortonworks Data Platform，简称HDP）。
HDP安装包主要包括如下内容：
HDP
HDP是hortonworks的软件栈，里面包含了hadoop生态系统的所有软件项目，比如HBase、Zookeeper、Hive、Pig等等。
HDP-UTILS
HDP-UTILS是工具类库。
HDP-GPL
新版hadoop使用了LZO数据压缩库，这个协议跟HDP栈的协议不相同，需要使用GPL。
官方指导：
https://docs.cloudera.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html
版本对应查询：
https://supportmatrix.cloudera.com/#Hortonworks

这啥名啊
关注
  • 9
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Ambari-2.7.3.0+HDP-3.1.0.0-Ubuntu安装包
09-28
目录：Hidataplus->hdp3.1.0 说明：里面还有ubutntu18和centos7两个版本的 按需使用
Ambari-2.7.4.0 + HDP-3.1.4.0网盘地址.txt
04-20
Cloudera收费之后，CDH和HDP都需要订阅才能下载，这里是网盘地址，欢迎大家下载。内容包括ambari-2.7.4.0-centos7.tar.gz，HDP-3.1.4.0-centos7-rpm.tar.gz，链接失效或者部署过程中遇到任何问题可以私信我，同时列举了几条之前项目环境部署过程中遇到过的问题及解决办法，有爱好大数据领域的同学也可以私信我交流，互相学习，共同进步。
Hadoop下载 hadoop-3.3.3.tar.gz
07-06
摘要 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算 软件特点 Hadoop是一个
Hadoop学习笔记（HDP）-Part.19 安装Kafka
glisten0317的博客
12-02 1343
选择kafka进行安装选择hdp03-05作为kafka的broker。
Hadoop学习笔记（HDP）-Part.20 安装Flume
glisten0317的博客
12-02 1141
在外网服务器上，下载ambari-flume-service服务下载flume的tar包，下载链接为将apache-flume-1.9.0-bin.tar.gz放到ambari-flume-service目录下执行编译生成rpm包，需要安装rpm-build命令，需要进入到shell脚本目录下执行。
Hadoop学习笔记（HDP）-Part.12 安装HDFS
glisten0317的博客
12-01 1357
HDFS依赖libtirpc-devel，因此需要先安装libtirpc-devel。创建yml文件，/root/ansible/libtirpc.yml执行。
Hadoop学习笔记（HDP）-Part.13 安装Ranger
glisten0317的博客
12-01 1399
选择不安装Ranger Tagsync。
hadoop-3.1.1.3.1.4.0-315.tar.gz
10-11
ambari-2.7.5 编译过程中四个大包下载很慢，所以需要提前下载，包含：hbase-2.0.2.3.1.4.0-315-bin.tar.gz ，hadoop-3.1.1.3.1.4.0-315.tar.gz ， grafana-6.4.2.linux-amd64.tar.gz ，phoenix-5.0.0.3.1.4.0-315....
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
Hadoop学习笔记（HDP）-Part.14 安装YARN+MR
glisten0317的博客
12-01 1480
使用Yarn提交MapReduce任务的时候，中间结果会保存在HDFS，/user/username/，如果/user目录下用户目录下不存在，则被创建，当MR执行结束之后，中间结果会被删除，目录保留。因此需要在Ranger中对/user的权限做策略。
Hadoop学习笔记（HDP）-Part.18 安装Flink
glisten0317的博客
12-02 1016
下载链接为上传到hdp01上，并复制到/var/www/html下。
Hadoop学习笔记（HDP）-Part.10 创建集群
glisten0317的博客
12-01 1195
开始安装集群。
Hadoop学习笔记（HDP）-Part.15 安装HIVE
glisten0317的博客
12-01 1149
利用ambari创建的MySQL作为MetaStore，创建用户hive及数据库hive。
强化学习——学习笔记3
qq_52302919的博客
05-29 1268
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1077
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
前端技术入门学习：探索数字世界的奇幻之旅
qwertyhn_0024的博客
05-27 209
HTML定义了网页的结构和内容，CSS负责样式和布局，而JavaScript则实现了网页的交互功能。对于初学者来说，前端技术既是一个充满魅力的新世界，也是一个充满挑战与困惑的领域。本文将引导您从四个方面、五个方面、六个方面和七个方面深入理解前端技术，开启您的学习之旅。在这个过程中，我们需要不断探索、学习和实践，才能逐步掌握这门技艺的精髓。同时，我们也需要保持敏锐的洞察力和开放的心态，不断适应和应对前端技术领域的变化和发展。同时，随着人工智能、大数据等新技术的不断涌现，前端技术也将面临更多的挑战和机遇。
oracle中的INTERVAL函数学习总结
最新发布
weixin_42821740的博客
05-30 342
简单学懂interval函数
强化学习——学习笔记
qq_52302919的博客
05-27 1247
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
hadoop如何配置core-site.xml
04-18
Hadoop的core-site.xml配置文件主要用于配置Hadoop的核心属性，如HDFS文件系统的URI、Hadoop运行环境的I/O设置等。 具体配置步骤如下： 1. 在Hadoop配置目录下找到core-site.xml文件，通常为$HADOOP_HOME/etc/hadoop/core-site.xml。 2. 打开core-site.xml文件，修改配置属性。 3. 配置属性说明： - hadoop.tmp.dir：指定Hadoop所使用的临时目录。 - fs.defaultFS：指定Hadoop的主文件系统（HDFS）的URI。 - io.file.buffer.size：指定Hadoop读写文件时缓冲区大小。 - hadoop.proxyuser.username.hosts：指定代理用户所拥有的主机。 - hadoop.proxyuser.username.groups：指定代理用户的用户组。 4. 保存并关闭core-site.xml文件。 以上是关于Hadoop如何配置core-site.xml的简要步骤，希望能够帮助到你。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

这啥名啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值