Haddop入门架构图解

最新推荐文章于 2022-10-23 20:29:19 发布
最新推荐文章于 2022-10-23 20:29:19 发布
阅读量229 收藏
点赞数
分类专栏： 大数据搭建 hadoop 文章标签： Hadoop 大数据架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40513633/article/details/100991792
版权

 Hadoop项目的四个模块

 

  1. hadoop common(为其他hadoop模块提供基础设施)
  2. hdfs（一个高可靠，高吞吐量的分布式文件系统）
  3. mapreduce（一个分布式离线的并行计算框架）
  4. yarn（任务调度和资源管理）

 

 

 

HDFS系统架构图

服务功能介绍

Namenode：主节点，存储文件的元数据（文件名，目录结构，属性，块列表，块所在的datanode）

Datanode：本地文件系统中存储文件块数据，以及块数据的校验和

Secondarynamenode：监控hdfs状态辅助后台程序，定期获取hdfs元数据的快照

 

Yarn的架构图

 

 

Yarn服务功能

 

Mapreduce(离线计算框架)

 

Yarn对mapreduce资源的调度过程

 

盖世英雄来了
关注
专栏目录
视频教程-ADAS/HAD软件架构-嵌入式
weixin_34775142的博客
05-28 1117
ADAS/HAD软件架构 ADAS研发部门高级工程师 德国汽车电子专业工科硕...
python簇状柱形图_think-cell chart系列13——簇状堆积柱形图
weixin_39781363的博客
12-04 2031
今天跟大家分享的是think-cell chart系列13——簇状堆积柱形图。关于柱形图这一部分，有很多图表的变形，用来展示多重信息，每一种都其特定的应用场景。今天要跟大家讲的簇状堆积柱形图曾困扰过本宝宝好长时间，一直以为这个图表看起来，貌似是一气呵成，觉得肯定可以通过数据结构的特殊组织，在think-cell chart菜单中一次插入完后。可是很遗憾，没有找到所谓的捷径，也看了think-cel...
hadoop生态圈各个组件简介
热门推荐
zcb_data的博客
05-22 7万+
1，HDFS（hadoop分布式文件系统） 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 client：切分文件，访问HDFS，与那么弄得交互，获取文件位置信息，与DataNode交互，读取和写入数据。 namenode：master节点，在hadoop1.x中只有一个，管理HDFS的名称空间和数据块映射信息，配置副本...
大数据之Hadoop图解概述
努力让自己发光，对的人才能迎着光而来
10-22 2万+
文章目录1 Hadoop是什么2 Hadoop 发展历史（了解）3 Hadoop 三大发行版本（了解）3.1 Apache Hadoop（常用）3.2 Cloudera Hadoop3.3 Hortonworks Hadoop4 Hadoop 优势（4 高）5 Hadoop 组成（面试重点）5.1 HDFS 架构概述5.2 YARN 架构概述5.3 MapReduce 架构概述5.4 HDFS、YARN、MapReduce 三者关系6 大数据技术生态体系7 推荐系统框架图 1 Hadoop是什么 1）Had
Elasticsearch+logstash+kibana
weixin_56644618的博客
10-23 8896
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集数据
Elasticsearch
weixin_55261016的博客
06-15 773
ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析实例来展现es的魅力。Logstash从内部如何采集
ELK搜索
weixin_44971379的博客
01-07 1899
ELK搜索高级课程 1． 课程简介 1.1 课程内容 ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体。这三个软件合成ELK。是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 本课程从分别对三个组件经行详细介绍，尤其是Elasticsearch，因为它是elk的核心。本课程从es底层对文档、索引、搜索、聚合、集群经行介绍，从搜索和聚合分析
ELK搜索高级
1663988740
08-05 3917
ELK搜索高级课程 1． 课程简介 1.1 课程内容 ​ ELK是包含但不限于Elasticsearch（简称es）、Logstash、Kibana 三个开源软件的组成的一个整体，分别取其首字母组成ELK。ELK是用于数据抽取（Logstash）、搜索分析（Elasticsearch）、数据展现（Kibana）的一整套解决方案，所以也称作ELK stack。 ​ 本课程分别对三个组件进行详细介绍，尤其是Elasticsearch，因为它是ELK的核心。Elasticsearch会对底层的文档、索引、搜索、聚
Haddop指南
01-18
**Hadoop 指南** Hadoop 是一个开源框架，主要设计用于处理和存储大量数据。这个框架基于分布式计算模型，使得数据可以在多台计算机（节点）上并行处理，大大提高了处理效率。Hadoop 的核心组件包括 HDFS（Hadoop ...
hadoop零基础学习到上手工作.zip_haddop_hadoop_howtolearnhadoop_spread5cf_零基
09-20
hadoop入门零基础教程 1.如何低成本学习 2.可能遇到的问题 3.About云零基础学习hadoop到上手工作
HADDOP手记
06-09
Hadoop实战之Hadoop完全分布式集群安装
在win7编译过的haddop
01-06
Hadoop是一个开源框架，主要由Apache软件基金会维护，用于存储和处理大数据。它基于Java语言编写，具有分布式计算的能力，能够高效地运行在大规模集群上，处理PB级别的数据。在Windows 7环境下编译Hadoop可能相对...
haddop在linux上的安装
11-16
2. HDFS 架构：HDFS 的架构包括 NameNode、DataNode 和 Secondary NameNode，它们共同提供了一个分布式的文件系统。 并行计算模型 MapReduce 1. MapReduce 概述：MapReduce 是 Hadoop 的并行计算模型，它提供了一...
Hadoop各进程启动命令(三种启动方式)
盖世英雄来了
06-18 3万+
（乾坤未定，你我皆是黑马） 本文总结了一下启动hadoop过程中的一些常用命令 1.直接启动或者关闭所有的进程（不推荐，由于分布式下，namenode和datanode分布在不同机器上，启动的进程不相同） 在启动hadoop进程的时候我们通常都是直接使用(默认hadoop根目录下) sbin/start-all.sh sbin...
Linux下（Centos7）配置静态ip（超详细教学版本）
盖世英雄来了
07-29 8131
（乾坤未定，你我皆是黑马） 配置虚拟机静态ip开始 1.查看电脑主机ip并且吧vmware设置成NAT模式 （进入cmd命令行，使用ipconfig查看 ，注意，这里是无线局域网适配器下面的）192.168.1.1 2.设置虚拟机的静态网关（不要设置成和本机一样的，容易出错，我这里设置成192.168.2.X） 3.查看NAT中设置的网关，可以自己设置 ...
Hive连接数据库失败的原因（NestedThrowables）
盖世英雄来了
09-22 5476
NestedThrowables: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://hadoop:3306/metastore?createDatabaseIfNotExist=true, username = root. Terminati...
虚拟机重启网卡报错（Job for network.service failed because the control process exited with error code. See “s）
盖世英雄来了
08-08 1180
（小哪吒，冲啊，国产动漫加油！！！） 有时候使用xshell连接不上虚拟机，但明明刚才还可以连上的，这个时候我通常是重启一下网卡，然后就可以连上了 servicenetworkrestart 但是今天用这个的时候， Job for network.service failed because the control process exited with error...
spring boot 运行haddop3
最新发布
06-04
Spring Boot和Hadoop是两个不同的技术，Spring Boot是一个Java Web开发框架，而Hadoop是一个大数据处理框架。它们并没有直接的联系。如果您想要使用Spring Boot来操作Hadoop集群，则可以使用Hadoop提供的Java API，或者使用一些第三方的Java库来完成操作。 如果您要使用Hadoop 3.x版本，可以按照以下步骤进行操作： 1. 在pom.xml文件中添加hadoop-client依赖： ``` <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.x.x</version> </dependency> ``` 2. 配置Hadoop集群的信息，例如core-site.xml、hdfs-site.xml、mapred-site.xml等，可以通过以下方式： ``` @Configuration public class HadoopConfig { @Bean public Configuration hadoopConfiguration() throws Exception { Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://namenode:8020"); conf.set("mapreduce.framework.name", "yarn"); conf.set("yarn.resourcemanager.address", "resourcemanager:8032"); conf.set("yarn.resourcemanager.scheduler.address", "resourcemanager:8030"); conf.set("mapreduce.jobhistory.address", "historyserver:10020"); conf.set("mapreduce.jobhistory.webapp.address", "historyserver:19888"); return conf; } } ``` 3. 编写Java程序，使用Hadoop提供的API进行操作： ``` @Configuration public class HadoopConfig { @Autowired private Configuration hadoopConfiguration; @Bean public FileSystem fileSystem() throws Exception { return FileSystem.get(hadoopConfiguration); } } ``` 以上是一个简单的示例，您可以根据自己的需求进行修改和扩展。如果您还有其他问题，请随时提出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值