【学习笔记】Hadoop

已于 2022-03-10 20:55:01 修改
阅读量2k 收藏
点赞数
分类专栏： 学习记录 文章标签： hadoop 学习 mapreduce
于 2022-03-10 15:57:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31478771/article/details/123403486
版权

概念

Hadoop是一个分布式系统基础架构，可扩展大量集群进行分布式计算和分布式存储。

优点是

  • 高可靠性：数据存储时数据块多副本存储，数据计算时某个节点崩溃可以自动重新调度作业计算
  • 高扩展性：可以横向线性扩展机器，一个集群中可以有数以千计的节点，集群可以用廉价机器，成本低
  • Hadoop生态成熟

组件

HDFS

HDFS（Hadoop Distributed File System）是分布式文件系统，具有扩展性、容错性和海量数据存储。HDFS将数据切分成指定大小的数据块进行存储，数据存储会冗余保存（多副本），一个数据会被拆分成多个Block。

请添加图片描述

  • NameNode负责客户端请求的响应；负责元数据（文件名、副本系数、Block存放的DN）的管理；监控DataNode健康状况
  • DataNode存储用户的文件对应的Block；定期向NN发送心跳信息，汇报本身及其所有的block信息，健康状况
  • 分布式集群NameNode和DataNode部署在不同的机器上

MapReduce

MapReduce是分布式计算框架，具有扩展性、容错性和海量数据离线处理。需要对数据进行分析计算，对数据进行分解Map和合并Reduce两个步骤。

请添加图片描述

  1. 输入数据
  2. 对数据进行切分、格式化处理
  3. 将切分数据做map处理
  4. 将相同的数据放在一起，并对数据进行排序处理
  5. 将map输出的数据进行hash计算，对每个map数据进行统计计算
  6. 格式化输出数据

YARN

YARN负责整个集群资源的管理和调度，具有扩展性、容错性和多框架资源统一调度。多个框架用到HDFS上的数据时会有先后问题，需要YARN来起到协调作用。

  • RM资源管理器：整个集群同一时间提供服务的RM只有一个，负责集群资源的统一管理和调度；处理客户端的请求；监控NM
  • NM节点管理器：整个集群有多个，负责自己本身节点资源管理和使用；定时向RM汇报本节点的资源使用情况；接收并处理来自RM的各种命令，启动Container；处理来自AM的命令
  • AM（ApplicationMaster）：每个应用程序对应一个，负责应用程序的管理；为应用程序向RM申请资源，分配给内部的task；需要与NM通信
  • Container容器：封装了CPU、Memory等资源的一个容器，是一个任务运行环境的抽象
  • Client客户端：提交作业，查询作业运行进度，杀死作业

请添加图片描述

  1. Client提交作业请求
  2. RM进程和NM进程通信，根据集群资源，为用户程序分配第一个Container，并将AM分发到这个Container上
  3. 在启动的Container中创建AM
  4. AM启动后向RM注册进程，申请资源
  5. AM申请到资源后，向对应的NM申请启动Container，将要执行的程序分发到NM上
  6. Container启动后，执行对应任务
  7. Task执行完毕后，向AM返回结果
  8. AM向RM汇报任务结束，请求kill进程

大数据产品与互联网产品的结合

请添加图片描述

Hung武
关注
专栏目录
hadoop大数据学习笔记
weixin_48176844的博客
07-13 706
hadoop
学习笔记Hadoop（一）—— Hadoop介绍（1）——认识大数据
别呀的博客
09-24 976
一、认识大数据 1.1、认识大数据 大数据（Big data）或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工或者计算机，在合理的时间内达到截取、管理、处理、并整理成为人类所能解读的形式的信息。 1.2、大数据特征 Volumn：容量，数据的大小 Variety：种类，数据类型的种类 Velocity：速度，获取数据的速度 1.3、大数据流程图 1.4、什么是大数据平台？ 大数据平台是指以处理海量数据存储、计算及不间断流数据实时计算等场景为主的一套基础设施。典型的包括H
3.3 学习笔记 Hadoop集群配置
qq_62847100的博客
10-28 1743
hadoop
Hadoop学习笔记
NotLency的博客
08-22 2042
Hadoop学习简介前言：大数据的概念一、Hadoop入门1.概念1.1 Hadoop是什么？1.2 Hadoop发展历史1.3 Hadoop三大发行版本1.4Hadoop的优势1.5Hadoop的组成1.5.1 HDFS架构概述1.5.2 YARN架构概述1.5.3 MapReduce架构概述1.5.4 HDFS、YARN、MapRecduce三者间的关系1.6大数据技术生态体系1.7推荐系统案例2. 环境准备2.1模板虚拟机的准备2.2克隆2.3安装JDK以及Hadoop3.Hadoop生产集群搭建3.
hadoop学习笔记
最新发布
m0_73742779的博客
04-23 311
生产环境中使用Hadoop 3.3.0版本 HDFS的web界面端口号是 9870。生产环境中使用Hadoop 3.3.0版本 HDFS的web界面端口号是 9870。在linux系统中，在终端中输入并执行命令时，这些命令实际上是shell命令。Hadoop 3.0及以上版本 HDFS的web界面端口号是 9870。Hive是hadoop的一个工具，基于hadoop去实现的。比如现在有一个文件，鼠标右键属性，属性里面有很多信息，核心信息，文件位置，大小，所有权，描述数据的称为元数据。
Hadoop学习笔记——HDFS
成长过程
11-30 1657
随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。HDFS的使用场景：适合一次写入，多次读出的场景。
HADOOP学习笔记——HDFS
csncd的博客
03-18 1914
HADOOP学习笔记——HDFS什么是hdfshdfs的优点hdfs的缺点hdfs的组成框架hdfs的特性hdfs的读流程hdfs的写流程网络拓扑-节点距离机架感知（副本节点的选择） 什么是hdfs 首先我们要知道hdfs是分布式文件系统，它是分布式的由多个服务器共同联合起来实现的，适合存储海量数据，适合一次写入、多次读取的场景。 hdfs的优点 高容错性：副本机制使它可以提高容错率，多个副本的存在可以避免数据的丢失。 处理大数据：多个服务器组成使它可以存储大量的数据，处理大量文件。 对于搭建的集群的服
Hadoop学习笔记---hadoop入门
weixin_42488772的博客
02-15 446
大数据概述
Hadoop学习笔记之HDFS
热门推荐
Gettler的博客
08-07 2万+
支持海量数据的存储，成百上千的计算机组成存储集群，HDFS可以运行在低成本的硬件之上，具有的高容错、高可靠性、高可扩展性、高吞吐率等特征，非常适合大规模数据集上的应用。
学习笔记 3.2 Hadoop部署模式
qq_62847100的博客
10-28 1229
hadoop
hadoop学习笔记 hadoop基础知识
09-22
Hadoop是一个开源的分布式计算框架，可用于大数据的存储和处理。...总之，对于Hadoop的学习，除了理解其基础知识和工作原理外，还需要熟悉其常用操作和管理技巧，以及灵活运用Hadoop来解决实际的大数据问题。
【学习笔记】人体姿态识别
码海畅游记录
10-18 8680
概念 人体姿态识别（Pose Estimation）是检测图像或者视频中人体关键点的位置、构建人体骨架图的过程。利用人体姿态信息可以进一步进行动作识别、人机信息交互、异常行为检测等任务。然而，人的肢体比较灵活，姿态特征在视觉上变化比较大，并且容易受到视角和服饰变化的影响。 2D人体姿态识别 自底向上算法 自底向上算法也称为 part-based 方法，它首先检测出图像或视频中人体的关键点，然后对不同关键点进行匹配，将属于一个人的关键点连接起来。这类方法的识别速度不会受图像或视频中人数的影响，并能有较小的模型
【学习笔记】自动化机器学习
码海畅游记录
10-17 7876
概念 自动化机器学习要解决的问题是，针对特定的一类或若干类机器学习任务，在没有人类专家干预且计算资源有限的条件下，自动化地构造机器学习算法流程。机器学习算法流程包括根据数据建立算法模型、算法效果评估、不断优化算法效果等。 研究方向包括：自动化特征提取、自动化模型选择、自动化模型参数调优、自动化模型结构搜索、自动化模型评估、元学习、迁移学习等。 自动化调优 机器学习模型的选择和超参数的指定统称为机器学习模型的配置。对于一个给定的机器学习问题和一个数据集，我们可以配置一个具体的机器学习模型，然后在这个数据集上训
【学习笔记】经典目标检测算法
码海畅游记录
12-26 6195
定义 目标检测任务的目标是找到图像中的所有感兴趣区域，并确定这些区域的位置和类别。目标检测领域的深度学习方法主要分为两大类：两阶段式（Two-stage）目标检测算法和单阶段式（One-stage）目标检测算法。前者是先由算法生成一系列候选边界框作为样本，然后再通过卷积神经网络分类这些样本，也被称为基于区域的方法，例如R-CNN、Fast R-CNN、Faster R-CNN、R-FCN等；后者则是直接将目标边界定位问题转换成回归问题，图像会被缩放到同一尺寸，并以网格形式均等划分，模型仅需处理图像一次就能
【学习笔记】经典语义分割模型
码海畅游记录
12-25 5469
Image Segmentation定义FCNU-NetSegNetRefineNetPSPNetDeepLabFastFCN性能测试损失函数Focal LossDice Loss 定义 图像分割将图像中的每个像素都与一个对象类型相关联。图像分割主要有两种类型：语义分割和实例分割。在语义分割中，所有相同类型的对象都使用一个类标签进行标记，而在实例分割中，相似的对象使用各自的标签。 FCN 《Fully Convolutional Networks for Semantic Segmentation》 20
【学习笔记】Hive
码海畅游记录
03-09 2999
Hive Hive是基于Hadoop的数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换成MapReduce任务进行运行。 HQL 数据定义语言DDL DDL是SQL语言集中对数据库内部的对象结构进行创建、删除和修改等操作语言，数据库对象包括database、table等。DDL的核心语法有CREATE、DROP和ALTER所组成。DDL不涉及表内部数据操作。 建库操作 CREATE DATABASE 数据库名 [COMMENT 注解] [LOCATI
【学习笔记】深度学习视频处理
码海畅游记录
10-22 2774
视频处理 视频是由一系列图像按时间序列组成的，既包含了图像的空域信息，也包含了其独有的时域信息。视频处理的范围很广，涵盖了视频从诞生到展示的整个端到端的流程，包括视频采集、视频转码、视频存储、视频传输、视频分发、视频播放等。 视频编解码 视频编解码的主要任务是既要实现较大的压缩比，又要保证一定的视频质量。目前主流的编解码标准包括H.264（AVC）、H.265（HEVC）、VP9、AVI等。各个标准在具体算法的实现上有很大不同，但整体架构均采用了基于块的混合视频编码框架。 帧内预测 帧内预测编码是指利用视
【学习笔记】Spark
码海畅游记录
03-11 2517
概念 spark是基于内存的计算引擎，计算速度非常快，仅仅只涉及到数据的计算，没有涉及到数据的存储。 MapReduce的局限性 Map结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据 任务调度和启动开销大 无法充分利用内存 不适合迭代计算（如机器学习、图计算等）、交互式处理（数据挖掘） 不适合流式处理（点击日志分析） MapReduce的编程不够灵活，仅支持Map和Reduce两种操作 Spark特点 速度快，job的中间结果可以不落地，可以存放在内存中，job以线程方式运行在进
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值