hadoop特点-组成

最新推荐文章于 2022-04-03 12:33:25 发布
最新推荐文章于 2022-04-03 12:33:25 发布
阅读量2.5k 收藏 1
点赞数 1
分类专栏： # hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/X043800/article/details/108168391
版权

1. hadoop特点

  1. 高可靠性 , 数有多份副本存储在不同的机器上 , 保证数据的安全可靠
  2. 高容错性 , 数据有多个副本 , 当机器宕机时 , 会自动复制副本到其他机器上 , 维持副本个数 , 自动分配失败的任务
  3. 高扩展性 , 运算资源存储容量不足时可以横向扩展机器节点来增加
  4. 低成本 , hadoop可以运行在价格低廉的机器上

2. hadoop组成

  1. hdfs : 以文件为单位的分布式文件系统 , 用于存储海量的数据
  2. mapreduce : 分布式运算编程框架 , 解决海量数据的分布式运算
  3. Yarn : 分布式资源调度和任务监控平台
  4. Commons : 提供hadoop底层技术支持
summonAstra
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-0.21.0.tar.gz
09-10
下面列举hadoop主要的一些特点： 　1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可...
Hadoop特点
qq_45275284的博客
05-30 8500
Hadoop介绍 Hadoop是由Apache基金会开发的分布式系统基础架构 主要用于海量数据的存储和海量数据的分析计算 广义上来说，Hadoop通常是指一个更广泛的概念—Hadoop生态圈 Hadoop特点 1.高可靠性：Hadoop底层维持多个副本，即使Hadoop某个计算元素或存储出现故障，也不会导致数据丢失。 2.高拓展性：在集群间分配任务数据，可方便的拓展数以千计的节点。 3.高效性：在MapReduce的思想下，Hadoop可以并行工作，以加快任务处理速度。 4.高容错性：能够自动将失败的任
hadoop常见问题解答（转）
三劫散仙
05-11 198
[img]http://dl2.iteye.com/upload/attachment/0108/4936/ad1f9f79-4fc9-3b37-8670-112579e50d55.png[/img] [b][color=green][size=large] （1）Hadoop适不适用于电子政务？为什么？ 电子政务是利用互联网技术实现政府组织结构和工作流程的重组优化，建成一个精简、高效、...
Hadoop笔记（组成、特点、相关）
陈起之快乐的皮皮的博客
09-24 251
Hadoop组成： 1.HDFS（Hadoop Distributed File System）： 说明：分布式文件系统。 作用：存储海量数据 特点：高容错、高数据吞吐量 2.MapReduce： 说明：并行处理大数据集的Yarn基本系统。 作用：计算海量数据 3.Yarm： 作用：资源管理和任务调度的一个框架 4.Common： 作用：支撑其他模块。 Hadoop特点： 1.高可扩展性。 说明：...
黑猴子的家：Hadoop的五大特性（优点）
黑猴子的博客
09-13 2931
1）高可靠性：因为Hadoop假设计算元素和存储会出现故障，因为它维护多个工作数据副本，在出现故障时可以对失败的节点重新分布处理。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。 4）高容错性：自动保存多份副本数据，并且能够自动将失败的任务重新分配。 5）成本低（Economical）：Ha...
Hadoop的特性和版本
热门推荐
跟着BOSS有肉吃
04-10 1万+
1、Hadoop的特性Hadoop是一个能对大量数据进行分布式处理的软件框架，并且是以一种可靠、高效、可伸缩的方式进行处理的，它具有以下几个方面的特性。·高可靠性            采用冗余数据存储方式，即使一个副本发生故障，其他副本也可以保证正常对外提供服务。·高效性               作为并行分布式计算平台，Hadoop采用分布式存储和分布式处理两大核心技术，能够高效的处    ...
Hadoop入门学习文档
11-24
1.大数据概论，大数据特点，Hadoop框架 2.hadoop组成，hdfs架构，mapreduce架构概述，在虚拟机上安装hadoop 3.hadoop运行模式，本地运行hadoop，以及伪分布式，完全分布式搭建介绍 4.hadoop源码编译
Hadoop源码的入门解析
08-17
下面列举hadoop主要的一些特点： 1 扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 2 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可...
hadoop 1.2.1 api 最新chm 伪中文版
10-25
Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业（job） 通常会把输入的...
一步一步学习大数据：Hadoop生态系统与场景
02-25
在2013年出版的《大数据时代》一书中，定义了大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。当我们把时间往回看10年，来到了2003年，这一年Google发表...
hadoop的特点
w302974215的专栏
01-04 821
扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些 服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行（parallel） 处理它们，这使得处理非常的快速。 可靠性（Relia
hadoop-3.0新特性
weixin_30362801的博客
05-08 163
1.纠删码将数据存储空间节省50% hadoop-3.0之前，HDFS存储方式为每一份数据存储3份，这也使得存储利用率仅为1/3， hadoop-3.0引入纠删码技术(EC技术)，实现1份数据+0.5份冗余校验数据存储方式 2.Shell脚本重写 （1）增加了参数冲突检测，避免重复定义和冗余参数 （2）CLASSPATH, JAVA_LIBRARY_PATH, and LD_LIBRA...
Hadoop的基本特点
m0_67390788的博客
04-03 3454
Hadoop的核心功能特点主要包括： 1、分布式架构，可以处理数据量非常大的数据，可实现数据性能的线性扩展。 2、多租户环境，实现多用户共同加工数据，数据无需频繁传输交换 3、文件系统采用HDFS，三份数据副本，实现文件系统的高可靠 4、有丰富的计算引擎，如MR、Hbase、SparkCore，基于MR可实现Hive，基于SparkCore可实现SparkSQL 5、基于Hadoop的Spark计算框架，未来可解决更多的数据处理计算需求 ...
Hadoop的特点
TWONIU博客
12-03 3345
一、扩容能力：能可靠地存储和处理千兆字节的数据。 二、成本低：可以通过普通机器组成的服务器群来分发以及处理数据，这些服务器群总计可达数千个。 三、高效率：通过分发数据，HADOOP可以在数据所在的节点上并行地处理他们，这使得处理的非常迅速。 四、可靠性：hadoop能自动地维护数据的多份副本，并且在任务失败后能自动的重新部署计算任务。
大数据零基础入门学习之Hadoop技术优缺点
lmseo5hy的博客
08-22 304
Hadoop的优点  (1)Hadoop具有按位存储和处理数据能力的高可靠性。  (2)Hadoop通过可用的计算机集群分配数据，完成存储和计算任务，这些集群可以方便地扩展到数以千计的节点中，具有高扩展性。  (3)Hadoop能够在节点之间进行动态地移动数据，并保证各个节点的动态平衡，处理速度非常快，具有高效性。  (4)Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重...
Hadoop计算框架特性
chushouxiu0552的博客
03-09 267
1.数据量大不是问题，数据倾斜是个问题。 2.jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 3.sum,count,max,min等UDAF，不怕数据倾斜问题,hado...
hadoop的概念及特点
wow_is_nothing的博客
08-13 8322
1、什么是Hadoop？ Hadoop，简单而言，就是一个用于处理海量数据的分布式框架。他是将一堆海量的数据分发至不同的电脑上进行存储和处理分析，这样就避免了因数据量太大，导致在一台电脑处理数据时出现宕机或者崩溃的情况，不仅提高了海量数据的处理速度，还具有极高的安全性。 他解决了两大难题：海量数据的存储和海量数据的处理分析，这也构成了hadoop的两大核心：HDFS和MapReduce。 2、Hadoop的特点 （1）高可靠性：在处理数据时，Hadoop往往会将数据备份多份分发至不同的机器进行保存，这样就避
Hadoop 3.0 特性
一尘在心的博客
08-29 425
官网： http://hadoop.apache.org/docs/r3.0.1/ Apache Hadoop 3.0.1 Apache Hadoop 3.0.1与以前的主要发行版（hadoop-2.x）相比具有许多重要的增强功能。 这个版本通常是可用的（GA），这意味着它代表了API稳定性和质量的一点，我们认为这是生产就绪。 概观 鼓励用户阅读完整的发行说明。本页提供了主要更改的概述...
hadoop-2.7.1.tar.gz
最新发布
09-16
Hadoop主要由两个核心组件组成：Hadoop分布式文件系统（HDFS）和MapReduce计算模型。HDFS是一个能够将大规模数据分布式存储在多台服务器上的文件系统，它具有容错性和可扩展性的特点。MapReduce是一种分布式并行计算...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值