我的架构梦：（五十九） Apache Hadoop 架构与原理

最新推荐文章于 2023-06-15 10:47:40 发布
最新推荐文章于 2023-06-15 10:47:40 发布
阅读量413 收藏 1
点赞数 2
分类专栏： 我的架构梦
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/riemann_/article/details/109790773
版权
我的架构梦 专栏收录该内容
98 篇文章 63 订阅 ¥59.90 ¥99.00
订阅专栏

Apache Hadoop 架构与原理

一、Hadoop的重要组成

Hadoop=HDFS(分布式文件系统)+MapReduce(分布式计算框架)+Yarn(资源协调框架)+Common模块

1、Hadoop HDFS:(Hadoop Distribute File System )一个高可靠、高吞吐量的分布式文件系统

比如:100T数据存储，“分而治之”

分:拆分–》数据切割，100T数据拆分为10G一个数据块由一个电脑节点存储这个数据块。

数据切割、制作副本、分散储存

在这里插入图片描述
图中涉及到几个角色

NameNode(nn): 存储文件的元数据，比如文件名、文件目录结构、文件属性(生成时间、副
本数、文件权限)，以及每个文件

了解本专栏 订阅专栏 解锁全文
老周聊架构
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
分布式计算框架Hadoop原理及架构全解
02-25
本文来自于csdn，这篇文章讲解了分布式计算框架的核心内容、架构图详解，运用流程等Hadoop是Apache软件基金会所开发的并行计算框架与分布式文件系统。最核心的模块包括HadoopCommon、HDFS与MapReduce。HDFSHDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。HDFS架构原理HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode和多个DataNode。NameN
hdfs 默认字段分隔符
weixin_44363315的博客
12-30 1267
字段分割 \01 map字段里面 key \03 value \02 每行结尾用linux换行符 \0a '\r'是回车，'\n'是换行，前者使光标到行首，后者使光标下移一格，通常敲一个回车键，即是回车，又是换行（\r\n）。Unix中每行结尾只有“<换行>”，即“\n”；Windows中每行结尾是“<换行><回车>”，即“\n\r”；Mac中每行结尾是“<回车>”。 https://blog.csdn.net/weixin_34384681/ar..
Hadoop学习总结
我的天空 我的梦
12-09 4197
Hadoop学习总结
【Hadoop】02-HDFS基本操作
通往神秘的道路的专栏
04-21 356
HDFS是一个文件系统，用于存储文件，通过统一的命名空间——目录树来定位文件,其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色；重要特性如下：（1）HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M（2）HDFS文件系统会给客户端提供一个统一的...
0201-HDFS
qq_35199832的博客
12-02 238
day01 HDFS第一章 HDFS概述1.1 HDFS产出的背景及定义1.1.1 HDFS 产生背景1.1.2 HDFS 定义1.2 HDFS优缺点1.2.1 优点1.2.3 缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小第二章 HDFS的shell操作第三章 HDFS客户端操作3.1 HDFS的API操作3.1.1 HDFS文件下载3.1.2 HDFS文件下载3.1.3 HDFS文...
分布式文件系统HDFS
qq_51580006的博客
06-15 2073
兼容廉价的硬件设备流数据访问：一次写入、多次读取大数据集简单的文件模型强大的跨平台兼容性不适合低延迟数据访问：几十ms范围的，HDFS以数据以数据呑吐量为目标，可能会提高时间的延迟。无法高效存储大量小文件：namenode将文件系统的元数据保存在内存中，因此文件系统存储的文件总数有限。不支持多用户写入及任意修改文件HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为。
Hadoop分布式文件系统：架构和设计
02-26
Hadoop分布式文件系统(HDFS)被设计成适合...HDFS在最开始是作为ApacheNutch搜索引擎项目的基础架构而开发的。HDFS是ApacheHadoopCore项目的一部分。这个项目的地址是。硬件错误是常态而不是异常。HDFS可能由成百上千
Hadoop总结
m0_67401382的博客
08-01 3493
大数据的4V大量化、快速化、多样化、价值密度低。大数据对思维方式的影响颠覆了传统的思维方式——全样而非抽样、效率而非精确、相关而非因果大数据对科学研究的影响实验、理论、计算、数据三次信息化浪潮第一次——1980——个人计算机为标志——解决信息处理——Intel、AMD、IBM第二次——1995——互联网——信息传输——雅虎、谷歌第三次——2010——物联网、云计算和大数据——信息爆炸——亚马逊、美团信息科技为大数据提供的技术存储设备容量增加、成本降低CPU性能提升数据变革阶段注。...
Hadoop大数据从入门到实战（二）分布式文件系统HDFS
m0_58236171的博客
04-10 5925
头歌实践教学平台教学课堂大数据从入门到实战 - 第2章 分布式文件系统HDFS。
Hadoop知识点总结
weixin_50528552的博客
03-11 752
Hadoop知识总结
大数据——HDFS(分布式文件系统）
qq_46300524的博客
04-17 6273
我的理解就是 ，你上传到服务器的数据，为了保证数据的安全性，如果一个服务器出现了问题 ，那么必须保证你的数据不能丢失，那么在其他服务器上也会备份一份出问题服务器的数据，以保证数据不丢失，就是一个存有你数据的服务器坏掉了，也不会影响你的数据。以上仅仅是我的理解，仅供参考。
大数据Hadoop之——总结篇
匠人精神，持之以恒！
08-22 4187
前面已经介绍了几乎企业里使用到的绝大多数大数据组件了，这里来个简单的总结，主要针对常见的操作进行总结。也方便自己和大家在工作中快速查阅。
大数据从入门到实战-HDFS-JAVA接口之删除文件
qq_61604164的博客
07-27 3440
HDFS-JAVA接口之删除文件
Hadoop 学期总结
梁辰兴的博客
12-21 1439
在老师的带领下，我进入了大数据方向的学习，领略了大数据的风采，对于它的探索是从Hadoop开始的，学习了一些linux的相关命令、Hadoop的架构、集群搭建、使用Java API接口访问HDFS和操作文件等等。知识都是很基础和简单的，但是也不容小觑，学习就如修建房屋，必须打好地基，不然房子会有潜在威胁，学习也会有漏洞。当然老师的方法再好，自己不积极跟上，也是无用的。本学期的大数据课程，对我而言也是收获颇丰的，不仅增加了自己的知识储备，也增加了对自己的专业的理解和发展前景。对未来也是充满着希望的。
【大数据】Hadoop实验报告
热门推荐
CoutCodes的博客
06-22 3万+
实验一 熟悉常用的Linux操作和Hadoop操作 实验二 熟悉常用的HDFS操作 实验三 熟悉常用的HBase操作 实验四 MapReduce/Spark编程初级实践
Hadoop个人心得笔记(一)
LiuY521的博客
07-17 6095
Hadoop个人心得笔记(一) Volume：数据量大，包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是T、P（1024个T）、E（100万个T）或Z（10亿个T） Variety：种类和来源多样化。包括结构化、半结构化和非结构化数据，具体表现为网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出...
apache hadoop项目源码说明
最新发布
07-13
总而言之，研究Apache Hadoop项目的源码，可以帮助我们深入理解分布式计算及大数据处理的原理和实现方式。同时，了解源码也有助于我们在实际应用中进行定制和调优，以满足特定的需求和性能要求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

老周聊架构

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值