关注
分享
文章平均质量分 92
Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
G皮T
计算机科学与技术本科，计算机技术硕士，现任职于某互联网公司，担任测试开发工程师。CSDN云原生领域优质创作者、博客专家。书籍《大数据测试开发工程师的第一本书》正在积极撰写中，敬请期待。微信公众号：大数据与AI实验室。《Java 百“练”成钢》连载中，欢迎关注！
展开
-
【YARN】详解 YARN 中的 ResourceManager
ClientRMService 本质是 RPC Server（实现 ApplicationClientProtocol），给客户端提供 RPC 服务。ClientRMService 中保留了 RM 上下文对象 RMContext，中央异步调度器（AsyncDispatcher）通过 RMContext 来获取节点列表、队列组织和应用列表等信息来响应客户端请求。原创 2024-03-06 23:31:25 · 1720 阅读 · 0 评论 -
【YARN】了解 YARN 架构的基础知识
现在我已经让您了解了 YARN 的必要性，接下来让我向您介绍 Hadoop 2.0 的核心组件 YARN。 YARN 允许图形处理、交互式处理、流处理以及批处理等不同的数据处理方法来运行和处理存储在 HDFS 中的数据。因此，YARN 将 Hadoop 开放给 MapReduce 之外的其他类型的分布式应用程序。原创 2024-01-20 11:37:31 · 2018 阅读 · 0 评论 -
【HDFS】区分 hdfs dfs -ls 与 hdfs dfs -ls /
hdfs dfs -ls 表示 HDFS 中的 当前用户目录，即 /user/用户名。所以，hdfs dfs -ls 可以认为等价于 hdfs dfs -ls /user/用户名。原创 2023-12-02 22:59:32 · 1014 阅读 · 0 评论 -
【HDFS】HDFS 的常用命令
操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。原创 2023-09-20 23:15:38 · 8083 阅读 · 2 评论 -
【Hadoop】图解 Hadoop 生态系统及其组件
HDFS是 Hadoop 的分布式文件系统，旨在在廉价硬件上存储大型文件。它具有高度容错能力，并为应用程序提供高吞吐量。 HDFS 最适合那些拥有非常大数据集的应用程序。Hadoop HDFS 文件系统提供 Master 和 Slave 架构。主节点运行 Namenode 守护进程，从节点运行 Datanode 守护进程。原创 2023-08-26 13:23:41 · 7117 阅读 · 0 评论 -
【Hadoop】Hadoop 生态系统及其组件
本篇文章将向大家介绍 Hadoop 生态系统的不同组件。也正是因为这些组件，使得 Hadoop 如此强大。通过学习 HDFS 和 HDFS组件、MapReduce、YARN、Hive、Pig、HBase 和 HBase组件、HCatalog、Avro、Thrift、Drill、Mahout、Sqoop、Flume、Ambari、Zookeeper 和 OOzie 等 Hadoop 生态系统组件，深入了解 Hadoop 生态系统。原创 2022-05-15 20:21:49 · 5916 阅读 · 6 评论