[置顶] 【Hadoop--01】Hadoop简介

标签: hadoop
2262人阅读 评论(0) 收藏 举报
分类:

Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点特别适合写一次,读多次的场景。

适合
大规模数据
流式数据(写一次,读多次)
商用硬件(一般硬件)

不适合
低延时的数据访问
大量的小文件
频繁修改文件(基本就是写1次)

Hadoop架构

这里写图片描述

HDFS: 分布式文件存储
YARN: 分布式资源管理
MapReduce: 分布式计算
Others: 利用YARN的资源管理功能实现其他的数据处理方式
内部各个节点基本都是采用Master-Woker架构

查看评论

hadoop基础----hadoop理论(一)----Hadoop简介

hadoop是什么? (1)Hadoop就是一个分布式计算的解决方案,也就是帮助我们把 一个任务分到很多台计算机来运算。 (2)Hadoop是一个开源的框架,可编写和运行分布式应用处理大规模数据,是...
  • q383965374
  • q383965374
  • 2015-02-03 16:46:14
  • 3224

hadoop--01

hadoop伪分布模式安装伪分布式模式:用多个线程模拟多台真实机器,即模拟真实的分布式环境。安装步骤:0.关闭防火墙执行:service iptablesstop  这个指令关闭完防火墙后,如果重启,...
  • tansuoliming
  • tansuoliming
  • 2018-03-28 00:12:13
  • 25

hadoop简介ppt

  • 2010年01月17日 22:16
  • 1.42MB
  • 下载

Hadoop 简介

       Hadoop是Apache开源组织的一个分布式计算开源框架(http://hadoop.apache.org/),在很多大型网站上都已经得到了应用,如亚马逊、Facebook和Yahoo...
  • wengyupeng
  • wengyupeng
  • 2009-12-27 00:47:00
  • 9074

Storm简介

场景 伴随着信息科技日新月异的发展,信息呈现出爆发式的膨胀,人们获取信息的途径也更加多样、更加便捷,同时对于信息的时效性要求也越来越高。举个搜索场景中的例子,当一个卖家发布了一条宝贝信息时,他希望的...
  • hljlzc2007
  • hljlzc2007
  • 2013-10-23 18:24:21
  • 27273

Hadoop基本介绍

1、Hadoop的整体框架 Hadoop由HDFS、MapReduce、HBase、Hive和ZooKeeper等成员组成,其中最基础最重要元素为底层用于存储集群中所有存储节点文件的文件系统HDFS...
  • w12345_ww
  • w12345_ww
  • 2016-07-14 16:56:53
  • 15478

HADOOP--HDFS简介

HDFS是什么?HADOOP DISTRIBUTED FILE SYSTEM,简称HDFS,是一个分布式文件系统。它是谷歌的GFS提出之后出现的另外一种文件系统。它有一定高度的容错性,而且提供了高吞吐...
  • lfsf802
  • lfsf802
  • 2013-05-27 08:45:14
  • 10778

Hadoop简介和家族成员介绍

本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/Hadoop简介和家族成员介绍/ 1、 HDFS:分布式文件系统实现...
  • u014394255
  • u014394255
  • 2016-12-03 23:44:58
  • 791

Hadoop1-Hadoop简介

简介 Hadoop的出现,解决了大数据的存储/计算两大难题,传统的大数据框架包括三大组件HDFS,HBase,MapReduce,分别对应Google的三篇论文(GFS,BigTable,MapRe...
  • sheldonwong
  • sheldonwong
  • 2017-08-16 14:35:06
  • 311
    个人资料
    持之以恒
    等级:
    访问量: 53万+
    积分: 9847
    排名: 2241
    加入群

    数据分析[1群] qq群:697118923

    数据挖掘[1群] qq群:331583141

    我的微信:laidefa

    最新评论