Haddop入门架构图解

最新推荐文章于 2024-08-17 15:06:00 发布
最新推荐文章于 2024-08-17 15:06:00 发布
阅读量1k 收藏
点赞数
分类专栏： java 文章标签： hadoop 架构 hdfs 开发语言 dubbo
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67393619/article/details/126663632
版权

Hadoop项目的四个模块

  1. hadoop common(为其他hadoop模块提供基础设施)
  2. hdfs（一个高可靠，高吞吐量的分布式文件系统）
  3. mapreduce（一个分布式离线的并行计算框架）
  4. yarn（任务调度和资源管理）

HDFS系统架构图

服务功能介绍

Namenode：主节点，存储文件的元数据（文件名，目录结构，属性，块列表，块所在的datanode）

Datanode：本地文件系统中存储文件块数据，以及块数据的校验和

Secondarynamenode：监控hdfs状态辅助后台程序，定期获取hdfs元数据的快照

Yarn的架构图

Yarn服务功能

Mapreduce(离线计算框架)

Yarn对mapreduce资源的调度过程

小东西的东西
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ambari+hdp+spark集群本地源搭建详细图解教程
书生的博客
07-13 3210
Ambari本地源搭建hdp+spark集群 一、   操作系统      RHEL 7 二、   本地源搭建 1.     安装apache web服务 a)       安装 选择一台节点单独作为apache web服务，并通过yum来安装； b)       自动启动和停止 启动和停止 #systemctl enable httpd.service
CDH简单介绍及体系架构
热门推荐
一亩三分地
01-26 6万+
1、官网介绍:    CDH是Cloudera的100％开源平台发行版，包括Apache Hadoop，专为满足企业需求而构建。CDH提供开箱即用的企业使用所需的一切。通过将Hadoop与十几个其他关键的开源项目集成，Cloudera创建了一个功能先进的系统，可帮助您执行端到端的大数据工作流程。    简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）...
【Ambari】银河麒麟V10 ARM64架构_安装Ambari2.7.6&HDP3.3.1(HiDataPlus)
康师傅没有眼泪
09-25 8825
银河麒麟操作系统 V10 SP系列 是一款体验好用、安全好用、生态好用、行业好用的新一代图形化桌面操作系统，为用户开启安全可信、流畅愉悦的体验之旅。
Hadoop学习笔记（HDP）-Part.02 核心组件原理
glisten0317的博客
12-01 1537
使用分布式系统就无法避免对节点管理的问题（），而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够通用解决这些问题的中间件就应运而生了。
Ambari HDP集群搭建全攻略
架构技术专栏
12-08 1606
世界上最快的捷径，就是脚踏实地，本文已收录【架构技术专栏】关注这个喜欢分享的地方。 最近因为工作上需要重新用Ambari搭了一套Hadoop集群，就把搭建的过程记录了下来，也希望给有同样需求的小伙伴们一个参考， 作者：图头数据 Ambari Ubuntu14.04 最新版本 2.2.1 HDP Ubuntu14.04 最新版本 2.4.3.0 Ambari是什么 Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。 Ambari已支持大.
大数据之Hadoop图解概述
努力让自己发光，对的人才能迎着光而来
10-22 2万+
文章目录1 Hadoop是什么2 Hadoop 发展历史（了解）3 Hadoop 三大发行版本（了解）3.1 Apache Hadoop（常用）3.2 Cloudera Hadoop3.3 Hortonworks Hadoop4 Hadoop 优势（4 高）5 Hadoop 组成（面试重点）5.1 HDFS 架构概述5.2 YARN 架构概述5.3 MapReduce 架构概述5.4 HDFS、YARN、MapReduce 三者关系6 大数据技术生态体系7 推荐系统框架图 1 Hadoop是什么 1）Had
Elasticsearch+logstash+kibana
weixin_56644618的博客
10-23 8654
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集数据
在win7编译过的haddop
01-06
Hadoop是一个开源框架，主要由Apache软件基金会维护，用于存储和处理大数据。它基于Java语言编写，具有分布式计算的能力，能够高效地运行在大规模集群上，处理PB级别的数据。在Windows 7环境下编译Hadoop可能相对...
Haddop指南
01-18
**Hadoop 指南** Hadoop 是一个开源框架，主要设计用于处理和存储大量数据。这个框架基于分布式计算模型，使得数据可以在多台计算机（节点）上并行处理，大大提高了处理效率。Hadoop 的核心组件包括 HDFS（Hadoop ...
hadoop零基础学习到上手工作.zip_haddop_hadoop_howtolearnhadoop_spread5cf_零基
09-20
hadoop入门零基础教程 1.如何低成本学习 2.可能遇到的问题 3.About云零基础学习hadoop到上手工作
haddop权威指南
03-27
Haoop权威指南第三版 带有目录书签，高清晰
haddop在linux上的安装
11-16
2. HDFS 架构：HDFS 的架构包括 NameNode、DataNode 和 Secondary NameNode，它们共同提供了一个分布式的文件系统。 并行计算模型 MapReduce 1. MapReduce 概述：MapReduce 是 Hadoop 的并行计算模型，它提供了一...
Hadoop 中的大数据技术：调优篇（2）
qq_45115959的博客
08-16 1115
HDFS默认情况下，一个文件有3个副本，这虽然提高了数据的可靠性，但也带来了2倍的冗余开销。Hadoop 3.x引入了纠删码机制，通过计算方法，可以节省大约50%的存储空间。
基于hive的海鲜交易数据分析系统设计与实现【hadoop、Flask、某东爬虫、sqoop、flume、mysql、hdfs】商品可换
迷茫与徘徊只会让你陷入绝境，欢迎私信博主，带你开始提升变现价值！
08-16 1528
为深入探究海鲜交易市场的数据特性并提供直观的分析服务，本研究设计并实现了一套基于Hive的海鲜交易数据分析体系。该体系从京东等电商平台获取海鲜商品信息，通过Python编写的爬虫程序完成数据采集，并运用数据预处理技术进行清洗和整理，为后续分析奠定基础。在数据存储方面，选用Hadoop分布式文件系统（HDFS）存储大规模数据集，flume自动导入数据，并利用Hive构建数据仓库，sqoop导出数据至MySQL，实现了海鲜交易数据的全流程高效管理与查询。
Hadoop 中的大数据技术：Yarn
qq_45115959的博客
08-15 913
本节将指导您如何配置公平调度器来创建两个队列，分别为test和lzl如果用户提交任务时指定了队列，则任务将在指定的队列中运行。如果用户未指定队列，test用户提交的任务将运行在队列中，而lzl用户提交的任务将运行在队列中。
NextJs - 服务端/客户端组件之架构多样性设计
最新发布
Zong_0915的博客
08-17 887
本篇文章主要讲解不同场景下，我们怎样去设计客户端和服务端组件的交互，或者是怎么去写代码。使用SSR渲染+Suspense流式渲染，并且服务端/客户端组件混合使用的基础上讲解的。
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 753
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
pygame 赛亚人打怪
做一位与众不同的吗喽
08-14 422
笔者最近学了一点pygame，献丑了。代码附上，大佬勿喷！
spring boot 运行haddop3
06-04
Spring Boot和Hadoop是两个不同的技术，Spring Boot是一个Java Web开发框架，而Hadoop是一个大数据处理框架。它们并没有直接的联系。如果您想要使用Spring Boot来操作Hadoop集群，则可以使用Hadoop提供的Java API，或者使用一些第三方的Java库来完成操作。 如果您要使用Hadoop 3.x版本，可以按照以下步骤进行操作： 1. 在pom.xml文件中添加hadoop-client依赖： ``` <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.x.x</version> </dependency> ``` 2. 配置Hadoop集群的信息，例如core-site.xml、hdfs-site.xml、mapred-site.xml等，可以通过以下方式： ``` @Configuration public class HadoopConfig { @Bean public Configuration hadoopConfiguration() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "resourcemanager:8032"); conf.set("yarn.resourcemanager.scheduler.address", "resourcemanager:8030"); conf.set("mapreduce.jobhistory.address", "historyserver:10020"); conf.set("mapreduce.jobhistory.webapp.address", "historyserver:19888"); return conf; } } ``` 3. 编写Java程序，使用Hadoop提供的API进行操作： ``` @Configuration public class HadoopConfig { @Autowired private Configuration hadoopConfiguration; @Bean public FileSystem fileSystem() throws Exception { return FileSystem.get(hadoopConfiguration); } } ``` 以上是一个简单的示例，您可以根据自己的需求进行修改和扩展。如果您还有其他问题，请随时提出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值