【笔记】大数据技术之Hadoop概要（二）

最新推荐文章于 2021-07-28 15:10:34 发布
最新推荐文章于 2021-07-28 15:10:34 发布
阅读量2.5k 收藏
点赞数
分类专栏： 大数据技术学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43645287/article/details/109389651
版权

Hadoop简介

  1. 解决了如何用大量计算机实现分布式计算
  2. GFS 分布式文件系统
  3. MapReduce 分布式并行编程框架
  4. 特性
    • 可靠性，不会阻断
    • 高效性，多计算机并行计算
    • 可扩展性强，扩展节点
    • 成本低，可以用普通的PC机构成集群
    • 支持多种编程语言
  5. 应用：
    • facebook、中国移动等
    • 离线分析
    • HIVE Pig
    • MR
    • 实时查询
    • Solr Redis
    • HBase
    • Mahout

Hadoop2.0相对于1.0

  1. Hadoop2.0进行了全新构架，将原负责资源调动的部分抽取成YARN框架，同时MapReduce专门负责数据处理，Spark等都在YARN框架之上
  2. NN Federation新技术进行数据目录服务

选择Hadoop

  • 是否开源 √
  • 是否有稳定版 √
  • 是否经实践检验 √
  • 是否有强大的社区支持：易用性 √

Hadoop安装相关

  1. shell命令

  2. sudo命令

  3. shift：切换中英文；复制粘粘命令透

  4. 单机模式：单Java进程

  5. 伪分布式模式

  6. 分布式模式

  7. ctrl alt t 终端窗口

集群部署和使用

  1. -> NameNode(数据目录) -> DataNode(存储数据)
  2. JobTracker,TaskTracker
  3. NameNode:管理各种元数据并提供服务；很多元数据都是直接存入内存

测验

  1. Hadoop MapReduce针对谷歌MapReduce的开源实现，通常用于大规模数据集的并行计算；Hadoop2.0增加了NameNode HA 和Wire-compatibility两个重大特性；Hadoop核心是HDFS和MapReduce
  2. Google生态系统组件
    • 核心：HDFA & MapReduce
    • ZoopKeeper：Yahoo!针对谷歌Chubby的一个开源实现，是高效可靠的协同工具系统
    • HBase:提供高可靠性、高性能、分布式的列式数据库，是Google BigTable的开源实现
    • Hive：基于Hadoop数据仓库工具，用于对Hadoop文件的数据集进行数据整理、特殊查询和分析存储
    • Pig
    • Mahout
    • Sqoop
    • Flume
    • Ambar
    • …

实际操作

附上厦大实验室的博客传送门

优化与发展

  • 局限和不足
    • 抽象层次低，人工编码
    • 表达能力有限
    • 难以看到程序整体逻辑
    • 开发者自己管理作业之间的依赖关系
    • 迭代操作效率第
    • 实时性差
    • 资源浪费
  • 改进和提升
    • 自身两大核心组件：MapReduce & HDFS
      在这里插入图片描述
      在这里插入图片描述
    • 增加新的组件：Pig、Tez、Spark、Kafka
      在这里插入图片描述

HDFS2.0

  • HDFS

    • HDFS HA

    • HDFS Federation
      在这里插入图片描述

    • 存在问题：

      • 单点故障
      • 不可以水平扩展
      • 系统整体性能受限于单个名称节点的吞吐量
      • 单个名称节点难以提供不同程序之间的隔离性
      • HDFS HA是热备份，提供高可用性，但是无法解决可扩展性、系统性能和隔离性
  • MapReduce 1.0 与 YARN
    • MP存在缺陷
      • 存在单点故障
      • JobTracker负载过重
      • 容易出现内存溢出（内存不足）
      • 资源划分不合理
    • YARN

      • 解决JobTracker：

        • 三大功能拆分
          在这里插入图片描述

      • 在Hadoop2以后：

        • MapR成为一个YARN之上的纯粹的计算框架，YARN成为专门管理资源的框架

      • 体系结构

        • ResourceManager
          • 处理客户端请求
          • 启动/监控AM，监控NM
          • 资源分配与调动
          • 两大组件
            • 调动器
            • 应用程序管理器
        • ApplicationMaster
          • 为应用程序申请资源并分配给内部任务
          • 任务调动、监控与容错
            • 当用户作业提交时，Application与ResourceManager协商获取资源
            • 获得资源进行二次分配
            • 与NM保持交互通信，进行应用程序的启动、运行、监控和停止
            • 定时向RM发送心跳信息，报告资源的使用情况和应用进度
            • 作业完成时向RM注销容器执行周期完成
        • NodeManager
          • 单个节点上的资源管理
          • 处理来自RM的命令
          • 处理AM命令
          • 主要负责管理抽象容器，不会具体负责每个任务自身状态的管理

      • 工作流程

        • 用户编写客户端应用程序向YARN提交应用程序
        • RM接受和处理来自客户端的请求，分配容器并启动
        • Application被创建会首先向RM注册
        • AM轮询向RM申请资源
        • 容器中启动任务：运行环境和脚本
        • 向AM汇报工作进度
        • AM向RM管理器注销并关闭自己

      • 与MP1.0对比

        • 大大减少中心服务RM资源消耗
        • AM需要大量资源消耗的任务调动和监控
        • 多个作业对应多个AM实现监控分布化
        • MP1.0即是一个计算框架，又是资源调度框架，但是只能支持MR编程模型

      • 发展目标

        • 一个集群多个框架
        • MR实现离线批处理
        • Impala实现交互式查询分析
        • Storm实现流式数据实时分析
        • Spark实现迭代计算

新组件

Pig

  • Apache开源
  • 代码量少
  • 作用
    • LOAD读取
    • 转换语句进行处理
    • 通过STORE语句把处理结果输出到文件上去/DUMP结果展示
  • 过程
    • 数据收集
    • 数据加工
    • 数据仓库

Tez

  • 去除连续两个作业之间的写入HDFS
  • 去除每个工作流中多余的Map
  • (Tez+Hive)与Impala、Dremel&Drill的区别：
    • 解决Hive、Pig延迟大，性能低等问题

Spark

  • 延迟搞
  • 每次都要从磁盘读数据
  • 单线程

Kafka

  • 高吞吐量的分布式发布订阅消息系统，用户可以发布大量消息，同时也能订阅消费信息
  • 同时满足在线实时处理和批量离线处理
琴&
关注
专栏目录
Hadoop知识概要
TU_JCN的博客
07-07 2783
hdfs/mapredce/yarn/zookeeper
热门大数据引擎/组件概要
漫步
01-24 643
热门大数据引擎/组件概要 TeraData 老牌数仓公司，已经上市十几年，数仓领导者地位（from Gartner），目前在向云端发力。主要提供一体机，MPP架构，运行稳定，之前工行用的是TD的系统，价格相对较贵。 Greenplum 2006年第一款产品，基于PostgreSQL，采用无共享MPP架构，主要用于数据分析OLAP。2010年被EMC收购，于2015年开源，拥有完整的生态。Greenplum是全球十大经典和实时数据分析产品中唯一的开源数据库。 Vertica 无共享列存MPP，开创列存DBMS
大数据Hadoop概述
赵广陆
03-14 759
目录1 Hadoop 概述1.1、 Hadoop的介绍1.1 Hadoop 是什么1.2 Hadoop 发展历史2 hadoop的历史版本和发行版公司2.1 Hadoop历史版本2.2 Hadoop三大发行版公司3 Hadoop 优势（4 高）4 大数据技术生态体系5 推荐系统框架图 1 Hadoop 概述 1.1、 Hadoop的介绍 1.1 Hadoop 是什么 1.2 Hadoop 发展历史 Hadoop发展历史 Hadoop最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引
Hadoop 学习笔记·一 —— 大数据与 Hadoop 概述
un357951的博客
02-04 314
大数据 大数据（big data） ： 指无法在一定时间范围内使用常规软件工具进行捕捉、管理和处理的数据集合，是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的 海量、高增长率和多样化的信息资产 大数据特点（4V）： Volume 大量 Velocity 高速 Variety 多样 Value 低价值密度 Hadoop Hadoop 是由 Apache 基金会所开发的 分布式系统基础框架，主要解决海量数据的存储和分析计算问题 ，从更广义上讲，Hadoop 指 Hadoop 生态圈
Hadoop大数据简介
热门推荐
只是甲的博客
12-01 1万+
一.Hadoop概述 1.1 Hadoop简要概述 我们生活在这个数据大爆炸的时代 ，很难估算全球电子设备中存储的数据总共有多少 。当前一个中小型公司的数据量也达到数十TB，甚至更多。 有句话说得好 ：“ 大数据胜于好算法 。” 意思是说对于某些应用 （譬如根据以往的偏好来推荐电影和音乐），不论算法有多牛 ，基于小数据的推荐效果往往都不如基于大量可用数据的 一般算法的推荐效果 。 我们遇到的问题很简单：在硬盘存储容量多年来不断提升的同时，访问速 度（硬盘数据读取速度）却没有与时俱进 。 第二个问题是大多数分
（第1篇）什么是hadoop大数据？我又为什么要写这篇文章？
chitan2235的专栏
03-16 143
这些天，有很多人咨询我大数据相关的一些信息，觉得大数据再未来会是一个朝阳行业，希望能尽早学会、入行，借这个机会，我决定写一下关于大数据的知识和我这些年的感悟。 我写这个博客目的就是为了帮助新人快速进入大数据行业，市面上有很多类似的书籍都是重理论少实践，特别缺少一线企业实践经验...
大数据技术综合笔记-涵盖Hadoop、Spark、Storm等框架的核心知识点
最新发布
11-08
内容概要：本文档涵盖了大数据领域的核心知识点，主要包括Hadoop生态系统、MapReduce、YARN、Spark、Zookeeper、Hbase、Hive等组件的技术介绍和原理剖析。文档详细解释了各个框架的功能和使用方法，探讨了HDFS、...
hadoop+hive+finebi笔记.rar
05-21
内容概要：让初学者能高效、快捷掌握Hadoop必备知识，大大缩短Hadoop离线阶段学习时间。 适合人群：具备一定编程基础人员 能学到什么： HDFS+MapReduce+Hive 基于数据仓库实现离线数据分析的可视化报表开发。 Hadoop...
大数据学习笔记（一）——大数据概述
stepondust 的课堂
01-21 4905
第一章 大数据概述 1.1 大数据时代 1.1.1 信息科技为大数据时代提供技术支持 ①存储设备容量不断増加——解决了信息存储的问题 ②CPU处理能力大幅提升——解决了信息处理的问题 ③网络带宽不断増加——解决了信息传输的问题 1.1.2 数据产生方式的变革促成大数据时代的来临 数据是我们通过观察、实验或计算得出的结果。数据和信息是两个不同的概念。信息是较为 宏观的概念，它由数据的有序排列组合而成...
大数据集群CDH5.12安装包
06-30
内容概要：包含spark2.2的升级包以及原始的spark1.6的包，其他的组件都可以使用 适用人员：在校大学生、数据开发、大数据开发、数仓开发、数据架构师等
Hadoop相关基础9篇英文论文
11-25
包括《The Google File System》 《MapReduce: Simplified Data Processing on Large Clusters》 《Bigtable: A Distributed Storage System for Structured Data》 《Ranking and Semi-supervised Classification on Large Scale Graphs Using Map-Reduce》 《Mochi:Visual Log-Analysis Based Tools for Debugging Hadoop》 《Ganesha:blackBox diagnosis of MapReduce systems》 《SALAS:Analyzing Logs as StAte Machines》
Hadoop学习笔记——大数据概述（1）
lt5227的博客
07-28 634
大数据概述 1. 大数据的4V特征 什么是大数据？这个问题对于不同的行业来说答案有可能不同，其就如盲人摸象一般，不同的人所接触不同行业对于大数据的理解都不一样，大数据的特征还存在一定的争议，但按照普遍被接受的有4个特征： 数据量（Volume） 速度（Velocity） 多样性，复杂性（Variety） 基于高度分析的新价值（Value） 这四个特征称之为大数据的4V特征。 2. 大数据带来的技术变革 技术驱动 存储方式： 文件存储 => 分布式存储 大数据有数据量大的特点，对应的我们的存储
hadoop学习摘要
qq_35382207的博客
11-25 588
参考链接：https://www.zhihu.com/question/333417513 https://www.oschina.net/p/hbase hadoop环境搭建：https://blog.csdn.net/hliq5399/article/details/78193113/ google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：http://research.goog...
Hadoop安装摘要
iteye_20275的博客
10-22 268
[b]硬件环境:[/b] 3台老爷机，P3/1GB/64GB [b]软件系统：[/b] ubuntu-12.04.1-server-i386 安装时，选择安装OpenSSH、smb（文件共享)服务 jdk1.6.0_32 hadoop-1.0.3 hbase-0.94.2 zookeeper-3.4.4 [b]相关配置[/b] 主机:－－－ NameNode ＆...
Hadoop-大数据引言
文文x的博客
11-02 645
1. 什么是大数据？ 对大量的数据集文件处理的过程，称之为大数据（TB级以上） 大量数据集：b—k---M—G---T—PB—EB—ZB 换算单位：1024 2. 为什么是大数据？ 通过对海量数据进行统计分析，从而在这些分析和统计过程中找出内在规律，从而伪国家和企业创造价值 3. 大数据特点？ 4v特征 1.Volume（大量） 数据集非常大 TB级以上||如果数据增长在每天/GB级 2.Variety（多样） 数据格式多样 非格式化：音频，视频 半结构：json，mongdb 3.Velocity（快
Hadoop概要
weixin_45943729的博客
02-13 3427
Hadoop概要 一、Hadoop简介 1.Hadoop是Apache基金会所维护的分布式系统的基础框架 2.主要解决海量的数据存储和海量的数据分析计算问题 3.广义上来说,Hadoop通常是指一个更加广泛的概念–Hadoop生态圈 二、Hadoop优势 1.高可靠性:其底层维护多个数据副本,所以即使其中某个计算元素或存储出现故障,也不会导致数据的损失 2.高扩展性：在各个集群间分配任务数据,可以...
hadoop 概要
Claroja
03-14 303
处理海量数据的核心技术： 海量数据存储：分布式 海量数据运算：分布式 存储框架： HDFS——分布式文件存储系统（HADOOP中的存储框架） HBASE——分布式数据库系统 KAFKA——分布式消息缓存系统(实时流式数据处理场景中应用广泛) 运算框架：（要解决的核心问题就是帮用户将处理逻辑在很多机器上并行） MAPREDUCE—— 离线批处理/HADOOP中的运算框架 SPARK —— 离线批处理...
hadoop概要
cuanxixia1496的博客
03-12 299
hadoop hadoop 简介： hadoop是一个能够对大量数据进行分布式处理的软件框架，实现了google的MapReduce编程模型和框架， 把应用程序分割成效的工作单元，并把这些单元放到集群...
《hadoop权威指南》读书摘要
逐鹿
12-18 207
1、MapReduce执行流程 RecordReader->读取文件数据，将数据拆分为kv对 map阶段->调用用户定义程序处理kv对，并对数据进行分区（job.setPartitionerClass）后存储到“环形内存缓冲区”， 当缓冲区达到一定阈值时（默认80%），会启动后台线程将部分数据溢出写入（spill）磁盘的临时文件中， 将数据写入文件...
大数据技术之Hadoop应用详解
"大数据和Hadoop" 大数据是指无法在tolerable时间内通过传统数据库管理工具或传统数据处理应用程序处理的巨型数据集合。这些数据集的规模和复杂度非常高，以至于无法使用传统的数据处理方法来处理它们。根据Gartner...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值