大数据学习笔记（一）：Hadoop笔记1

WeXn

已于 2022-08-05 13:17:46 修改

阅读量502

点赞数

分类专栏：大数据文章标签： hadoop 大数据学习 python

于 2022-08-04 17:48:25 首次发布

本文链接：https://blog.csdn.net/weixin_43583973/article/details/126159655

版权

提示：有一些是参考了他人的总结，第一份笔记主要是进行一个初步的总结，后续将对mapreduce及HDFS进行详细的介绍和总结，整个大数据的路线将以python为主，有错误的地方欢迎批评指正。

文章目录

大数据学习笔记（1）：Hadoop笔记一
一、Hadoop
- 1.简介
- 2.优势
二、Hadoop1.0与2.0
三、大数据生态架构体系
总结

大数据学习笔记（1）：Hadoop笔记一

第一部分主要是对Hadoop的学习

一、Hadoop

分析和处理大数据的软件平台

1.简介

（1）分布式系统基础架构
（2）主要解决海量数据的存储和分析计算

2.优势

（1）高可靠性：底层维护多个数据副本（副本数一般为3），即使出现故障，也不会导致数据丢失。
（2）搞扩展性：可方便扩展数以千计的节点
（3）高效性：并行工作，加快任务处理速度
（4）高容错性：能自动将失败的任务重新分配

二、Hadoop1.0与2.0

1.对比

Hadoop1.0	Hadoop2.0
HDFS	HDFS
MapReduce	MapRe

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

WeXn

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
大数据学习笔记（一）：Hadoop笔记1

大数据学习笔记（一）
复制链接

扫一扫

专栏目录

【Hadoop---02】Hadoop简介

渐渐的忘记，赶不上明天（读研ing，2024年毕业）

09-17

437

1. 什么是Hadoop：是分布式系统基础架构。 2. 作用：解决大数据的存储与分析计算。【大数据有三个问题待解决：采集、存储和分析计算。Hadoop解决了后两个问题，采集由Flume、kafka等解决。】 3. 特点： 1. **高可靠性**：因为

yarn.xml详解

Neighbor_L的博客

10-18

502

（1） yarn.resourcemanager.address 参数解释：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。默认值：${yarn.resourcemanager.hostname}:8032 （2） yarn.resourcemanager.scheduler.address 参数解释：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放

参与评论您还未登录，请先登录后发表或查看评论

大数据学习之路，yarn的介绍

qq_42559628的博客

03-26

1403

yarn 资源调度分配 Mapreduce on yarn yarn主要的模块 ResourceManager（RM） yarn的资源控制框架的中心模块，负责集群中所有的资源的统一管理和分配。 ResourceScheduler（调度器）根据各个应用程序的资源需求，进行分配。 Applications Manger（应用管理器）负责监控或跟踪AM的执行状态。 NodeManger（名称节点，简称NM) 是ResourceManager每台机器上的代理，负责容器的管理，并监控他们的资源使用情况（CPU，内

Hadoop YARN配置参数剖析

铭霏的记事本

06-15

1431

今天重新调整yarn的参数时用到的，留一个备份以便以后修改时参考注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。　　1. ResourceManager相关配置参数　　（1） yarn.resourcemanager.address 　　参数解释：ResourceManager 对客户端暴露的

大数据之 Hadoop 基本概念

bad_boy的博客

03-24

7720

——大数据技术生态体系 Sqoop：Sqoop 主要用户在 Hadoop、Hive 与传统的数据库（MySQL）间进行数据的传递，可以将一个关系型数据库中的数据导进到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中 Flume ：Flume 是一个高可用的、高可靠的、分布式的海量日志采集、聚合和传输的系统，Flume 支持在日志系统中订制各类数据发送方，用于收集数据 Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统 Spark：Spark 是当前最流行的开源

大数据学习笔记：Hadoop 2.x的版本架构模型介绍

01-20

在大数据领域，Hadoop是广泛使用的分布式计算框架，它的2.x版本引入了多个重要的架构改进，以提升系统的稳定性和可扩展性。本文将详细介绍Hadoop 2.x的四种主要架构模型，聚焦于NameNode、ResourceManager、...

学习笔记(01):Hadoop大数据从入门到精通-Hadoop的介绍及基本概念

01-20

在进入大数据领域时，Hadoop 是一个不可或缺的关键概念。本文将深入探讨Hadoop的基本概念及其在大数据处理中的重要性。...对于想要深入理解和掌握大数据技术的人来说，学习Hadoop是至关重要的第一步。

学习大数据Hadoop的笔记，自己整理的比较条理

01-10

自己在大数据培训班学习整理的笔记，比较详细，适合新手学习，我感觉还是挺有帮助的，希望可以帮助到你

大数据平台，hadoop集群学习笔记

02-25

本笔记将深入探讨Hadoop集群及其核心组件，帮助读者理解大数据平台的基础与精髓。第一章介绍了大数据的基本概念。大数据是指无法用传统数据处理方法进行有效管理的数据集，其特点包括高容量、高速度和多样性。...

大数据学习笔记.zip

08-23

大数据学习笔记.zip是一个压缩包，其中包含了关于大数据技术的学习资料，特别是聚焦于Hadoop、HBase、Kafka和Flume这四个重要组件。这些技术都是大数据处理和分析领域中的核心工具，广泛应用于海量数据的存储、实时...

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

weixin_34295316的博客

05-16

160

2019独角兽企业重金招聘Python工程师标准>>> ...

hadoop2.x配置 - RM与NM相关参数

Mrknowledge

06-11

1183

REFER： ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Hadoop0.23.0 RM-NM-AM源码级分析

剑儒无涯的博客

11-15

756

本文装载自klose http://blog.sina.com.cn/s/blog_4a1f59bf01011e6n.html Hadoop0.23.0RM-NM-AM源码级分析缩写词 NM：NodeManager RM：ResourceManager AM:ApplicationManager 表格1 ResourceManager的服务父类或接口

Hadoop 2.0 Yarn代码：RM与NM代码_心跳驱动服务分析_1 初始阶段(Job提交前)

weixin_34400525的博客

08-21

154

1.概览当RM(ResourcesManager)和NM(NodeManager)陆续将所有模块服务启动，最后启动是NodeStatusUpdater，NodeStatusUpdater将用Hadoop RPC远程调用ResourcesTrackerService中的函数，进行资源是初始化等操作，为将要运行的Job做好准备。以下主要分析在Job提交之前 RM与NM在心跳的驱动下操作。主要涉...

【YARN】（1）-- 整体架构、RM、NM、AM等基础组件快速理解

Badme

04-10

2853

【Apache Hadoop YARN】-- 整体架构、RM、NM、AM等基础组件快速理解

大数据技术之Hadoop学习(六)——高可用集群搭建

“相关推荐”对你有帮助么？

非常没帮助
没帮助
一般
有帮助
非常有帮助

提交