关闭

[置顶] 【Hadoop--01】Hadoop简介

标签: hadoop
2251人阅读 评论(0) 收藏 举报
分类:

Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点特别适合写一次,读多次的场景。

适合
大规模数据
流式数据(写一次,读多次)
商用硬件(一般硬件)

不适合
低延时的数据访问
大量的小文件
频繁修改文件(基本就是写1次)

Hadoop架构

这里写图片描述

HDFS: 分布式文件存储
YARN: 分布式资源管理
MapReduce: 分布式计算
Others: 利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构

0
0
查看评论

Hadoop基本介绍

1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS(Hadoop Distributed File System)来执行MapReduce程序的Map...
  • w12345_ww
  • w12345_ww
  • 2016-07-14 16:56
  • 6638

Hadoop 简介

       Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/),在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo等等。对于我来说,最近的一个使用点就是服...
  • wengyupeng
  • wengyupeng
  • 2009-12-27 00:47
  • 8998

Hadoop1-Hadoop简介

简介 Hadoop的出现,解决了大数据的存储/计算两大难题,传统的大数据框架包括三大组件HDFS,HBase,MapReduce,分别对应Google的三篇论文(GFS,BigTable,MapReduce),是他们的开源实现。 随着Hadoop生态的发展,越来越多的框架出现,加入到Hadoop...
  • sheldonwong
  • sheldonwong
  • 2017-08-16 14:35
  • 146

HADOOP-MapReduce简介

MapReduce是什么?MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。它极大的方便编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。它的实现是map函数和Reduce函数组成。这种编程模型在很长时间以前就出现了,但在以前这个编程模型不是非常火热。当...
  • lfsf802
  • lfsf802
  • 2013-06-03 11:05
  • 7377

Hadoop学习笔记(三):Hive简介

定义       Hive是一个构建在Hadoop上的数据仓库框架。可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统...
  • Chaoer89
  • Chaoer89
  • 2015-05-07 10:23
  • 634

HADOOP--HDFS简介

HDFS是什么?HADOOP DISTRIBUTED FILE SYSTEM,简称HDFS,是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性,而且提供了高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 提供了一个高度容错性和高吞吐量的海量数据存储解...
  • lfsf802
  • lfsf802
  • 2013-05-27 08:45
  • 10463

Hadoop生态系统介绍

1、Hadoop生态系统概况 Hadoop是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop的核心是HDFS和Mapreduce,hadoop2.0还包括YARN。 下图为hadoop的生态系统: 2、HDFS(Hadoop分布式文件系统) 源自于Goo...
  • woshiwanxin102213
  • woshiwanxin102213
  • 2014-02-22 16:27
  • 35428

Hadoop生态圈以及各组成部分的简介

Hadoop是什么?适合大数据的分布式存储与计算平台;HDFS: Hadoop Distributed File System分布式文件系统;MapReduce:并行计算框架
  • chenjunji123456
  • chenjunji123456
  • 2016-11-24 11:29
  • 461

Hadoop学习笔记(1) 认识Hadoop

大家好,小弟初学Hadoop,有不对的地方希望大神们指教。先做一下介绍,本人工作一年多了,主要从事JAVAWEB 方面的开发。想利用业余时间学习下Hadoop,自己比较感兴趣所以在网上查看了很多Hadoop资料,希望多了解其他领域的知识,看看自己到底适合哪方面的开发。而且自己也简单的自学了一下Lin...
  • ym659863631
  • ym659863631
  • 2013-11-20 08:46
  • 536

Hadoop ha简介

1、NameNode单点故障解决方案不够完善 HDFS2允许为每个namenode配置backupnamenode,也就是namenode 热备,这样主节点namenode出现问题时,可以立刻切换到backnamenode,但实现仍不完美。namenode和backnamenode之间通过共享存储...
  • fogmeng2011
  • fogmeng2011
  • 2015-03-12 20:48
  • 575
    个人资料
    • 访问:454617次
    • 积分:8871
    • 等级:
    • 排名:第2582名
    • 原创:400篇
    • 转载:2篇
    • 译文:0篇
    • 评论:54条
    加朋友
    我的微信:laidefa
    加入群
    数据分析[1群] qq群:697118923 数据挖掘[1群] qq群:331583141
    最新评论