Hadoop学习总结（一）之Hadoop基础知识

最新推荐文章于 2024-05-01 17:24:41 发布
最新推荐文章于 2024-05-01 17:24:41 发布
阅读量566 收藏 1
点赞数
分类专栏： # Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38924500/article/details/106785142
版权

Hadoop基础知识

1.Hadoop是什么

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据谷歌公司发表的MapReduce和Google文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理。广义上讲Hadoop更像是一个Hadoop生态圈。
在这里插入图片描述

2.Hadoop的发展

可以参靠Google在大数据方面的三篇论文，能够清楚了解其是怎样发展为现在版本。
GFS发展为HDFS,Map-Reduce发展为MapReduce,BigTable发展为HBase.
在这里插入图片描述

3.Hadoop组成

在这里插入图片描述

3.1 HDFS架构

HDFS（Hadoop Distributed File System）

  • NameNode(nn):存储文件的元数据
  • DataNode(dn):在本地文件系统存储文件块数据，以及块数据的校验
  • Secondary NameNode(2nn):用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。
3.2YARN架构

在这里插入图片描述

3.3MapReduce架构

MapReduce将计算过程分为两个阶段：Map和Reduce
1）Map阶段并行处理输入数据
2）Reduce阶段对Map结果进行汇总

3.4生态系统组成

在这里插入图片描述

下一篇：Hadoop学习总结（二）之Centos7安装Hadoop-2.9.2及相应配置

風の住む街~
关注
专栏目录
Hadoop学习总结.doc
10-26
Hadoop学习总结，内容包括： 1. HDFS简洁 2. HDFS读写过程解析 3. MapReduce入门 4. MapReduce过程解析 5. Hadoop运行痕迹 6. MapReduce源码分析总结
Hadoop详细入门知识
githubcurry
10-17 5960
现在的我们，生活在数据大爆炸的年代。2020年，全球的数据总量达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。扩展: 数据大小单位，从小到大分别是: byte、kb、mb、Gb、Tb、PB、EB、ZB、DB、NB...单位之间的转换都是满足1024一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。
Hadoop知识点总结
weixin_50528552的博客
03-11 894
Hadoop知识总结
Hadoop总结
weixin_52311133的博客
07-02 2488
集各家所长，总结一下Hadoop
【hadoop基础知识】
波波日常工作学习的笔记本
02-22 1133
Hadoop 是一个开源的分布式计算框架，用于解决大数据存储和处理的问题。它基于 Google 的 MapReduce 论文和 Google 文件系统（GFS）的思想，由 Apache 软件基金会开发和维护。Hadoop 的设计目标是能够处理以千万、亿计的数据为基础的应用程序，提供高可靠性、高性能和高可扩展性的数据处理服务。Hadoop 的历史可以追溯到 2003 年，当时 Doug Cutting 和 Mike Cafarella 在开发一个全文搜索引擎的过程中遇到了存储和处理大数据的问题。为了解决这个问
hadoop基础知识学习与总结
12-11
【Hadoop基础知识学习与总结】 Hadoop是一个由Apache基金会开发的开源分布式系统基础架构，它的设计目标是处理和存储海量数据。Hadoop这个名字源于创始人Doug Cutting的孩子为一只棕黄色大象玩具所取的名字，象征着...
基于Hadoop的数据仓库Hive基础知识
02-25
Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行...
hadoop基础知识
06-15
Hadoop是大数据处理领域的重要...这份资料将帮助你构建扎实的Hadoop基础，为后续的大数据学习和项目实施打下坚实的基础。在实践中不断探索和掌握Hadoop，你将能够驾驭这个强大的大数据平台，解决各种复杂的数据挑战。
Hadoop知识点全面总结
qq_40905284的博客
11-06 2173
Hadoop知识点全面总结
Hadoop相关知识-入门篇
cvbn_的博客
08-20 574
1) Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2)主要解决, 海量数据的存储和海量数据的分析计算问题。3)广义上来说 Hadoop通常是指一个更广泛的概念-----Hadoop生态圈。Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。1) NameNode（nn) :存储文件的元数据，如文件名，文件目录结构，文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和。
Hadoop学习总结
06-08
Hadoop 学习总结
Hadoop基础知识总结
01-14 1990
https://mp.weixin.qq.com/s?__biz=MzA3NDc3ODg1MQ==&mid=2653658300&idx=1&sn=07c72278ee74671efcc41c50d740bf66&chksm=84a5ad30b3d224266ff011493a8c1326961b1851bec19962b7abf615f26432389496384...
Hadoop基础学习
weixin_46093984的博客
03-16 1835
Hadoop框架HDFS、MapReduce、YARN三大核心组件的讲解
大数据技术之 Hadoop（入门）
HelloWowofei的博客
07-22 1182
注意：在企业开发时，通常单个服务器的防火墙时关闭的。如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境。：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、根据任务对时间的准确程度要求周期同步。是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。
(萌新必看)Hadoop的基础知识
最新发布
TS194919892003的博客
05-01 2254
认识Hadoop，详细版知识，萌新瞧一瞧哦！
学完了Hadoop，我总结了这些重点
苍夜月明的博客
07-21 7656
大数据生态圈中最基础、最重要的组件。大数据小菜鸟迈出的第一步！
Hadoop笔记整理
m0_46168848的博客
04-19 744
Hadoop 一. 引言 1.1 什么是大数据 大数据:(Big Data):数据量级很大的应用处理。TB级 ，日数据增长GB级 K -- M---- G ---- T ----PB ---- EB ---ZB 1024 通过对海量数据进行分析，挖掘，进而发现数据内在的规律，从而为企业或者国家创造价值。 1.2 大数据特点 4V 是大数据典型的特点具体指的是: # 1.Volume (大量) 数据量很大，至少是TB或者日均增加GB级 # 2.Variety (多样) a.结构化数据 :
大数据- Hadoop入门
weixin_40968325的博客
12-30 1503
Hadoop是一个对大量数据进行分布式处理的。
hadoop学习笔记 hadoop基础知识
09-22
Hadoop是一个开源的分布式计算框架，可用于大数据的存储和处理。它采用了分布式文件系统（HDFS）和分布式计算框架（MapReduce），能够将大数据分割成小的数据块，并在集群中的多台计算机上并行处理这些数据块。 HDFS是Hadoop的分布式文件系统，它将大文件切分为多个数据块，并将这些数据块存储在集群中的多个计算机上。HDFS使用主从架构，其中NameNode负责管理文件系统的元数据，而多个DataNode负责实际存储数据。HDFS具有高容错性，能够自动复制数据块以保证数据的可靠性。 MapReduce是Hadoop的分布式计算框架，它通过将计算任务划分为多个Map和Reduce阶段来进行并行计算。Map阶段将输入数据切分为多个独立的小任务，并在集群中的多个计算机上并行执行。Reduce阶段将Map阶段的输出合并并进行聚合计算。MapReduce具有自动并行化、容错性和可扩展性等优点，能够高效地处理大规模数据集。 在学习Hadoop时，首先要了解Hadoop的核心组件，包括HDFS和MapReduce。然后，需要学习Hadoop的架构和工作原理，理解Hadoop如何实现分布式存储和计算。接下来，需要学习Hadoop的安装和配置，包括在单机和集群环境下的安装和配置过程。此外，还需要学习Hadoop的命令行工具和管理工具，以及Hadoop的API和编程模型。 在实际使用Hadoop时，需要掌握Hadoop的常用操作和管理技巧，如如何上传和下载文件、如何执行MapReduce作业、如何监控和管理Hadoop集群等。同时，需要学习Hadoop的优化技术和调优方法，以提高Hadoop集群的性能和效率。 总之，对于Hadoop的学习，除了理解其基础知识和工作原理外，还需要熟悉其常用操作和管理技巧，以及灵活运用Hadoop来解决实际的大数据问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值