简单描述什么是hadoop?

已于 2022-04-09 18:32:16 修改
阅读量2.2k 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop mapreduce big data
于 2022-03-14 21:01:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49539546/article/details/123488157
版权

1.狭义

数据存储： HDFS

数据计算: MapReduce

资源和计算作业调度分配: YARN

谁最重要？

个人理解 数据存储 计算跟调度相辅相成。

2.广义:hadoop生态圈的所有软件（模块）

hive sqoop HBASE kafka spark flink（偏实时）等

离线数据仓库 实时数据仓库

3.三种支持的模式之一启动 Hadoop 集群

Local (Standalone) Mode 本地 一台机器 一个Java进程

Pseudo-Distributed Mode 伪分布式 一台机器 多个Java进程

Fully-Distributed Mode 完全分布式 多个机器 多个java进程

黑皮磊
关注
专栏目录
什么是Hadoop
小强的博客
01-06 705
数据！数据！数据！ 今天，我们正被数据包围。全球 43 亿部电话、20 亿位互联网用户每秒都在不断地产生 大量数据，人们发送短信给朋友、上传视频、用手机拍照、更新社交网站的信息、转发微 博、点击广告等，使得机器产生和保留了越来越多的数据。数据的指数级增长对处于市场领 导地位的互联网公司，如 Facebook、谷歌、雅虎、亚马逊、腾讯等提出了挑战。它们需要对 TB 级别和 PB 级别的数据...
什么是 Hadoop？它主要能解决“大数据”的哪两个问题？
m0_67645544的博客
05-16 2401
前言 之前工作中,有接触到大数据的需求,虽然当时我们体系有专门的大数据部门,但是由于当时我们中台重构,整个体系的开发量巨大,共用一个大数据部门,人手已经忙不过来,没法办,为了赶时间,我自己负责的系统的大数据相关操作,由我们自己承担了。此前对大数据的知识了解的很少，于是晚上回去花时间突击大数据知识，白天就开始上手干，一边学一边做，总算在部门规定的时间，跟系统一起上线了。后来的维护迭代就交给大数据去了，虽然接触大数据的时间不长，但是对我来说，确是很有意思的一段经历，觉得把当时匆匆学的知识点，再仔细回顾...
分布式计算开源框架Hadoop介绍
caizhongda的专栏
09-21 268
[quote]Hadoop是Apache开源组织的一个分布式计算开源框架，在很多大型网站上都已经得到了应用，如亚马逊、Facebook和Yahoo等等。对于我来说，最近的一个使用点就是服务集成平台的日志分析。服务集成平台的日志量将会很大，而这也正好符合了分布式计算的适用场景 [/quote] [b]什么是Hadoop？[/b] 搞什么东西之前，第一步是要知道What（是什么），然后...
大数据开发之Hadoop
最新发布
2301_79349971的博客
08-08 1207
hadoop介绍hdfs
什么是hadoop
华材 的专栏
04-10 788
 个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问
Hadoop是什么，能干什么，怎么使用
热门推荐
专注于后端开发，时常接触大数据 、人工智能等
09-29 5万+
本文档实现目标 希望用比较容易理解的语言解释Hadoop是个什么样的工具，回答Hadoop是什么，能干什么，怎么使用三个问题，尽量不涉及技术细节。 1、Hadoop是什么 1.1、小故事版本的解释 小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，小明感觉很轻松...
Hadoop的原理是什么
weixin_35754962的博客
12-21 474
Hadoop是一个分布式计算框架，它主要用于进行大规模数据处理。它由两个主要部分组成：Hadoop Distributed File System (HDFS) 和 MapReduce。 HDFS是一个分布式文件系统，它将大型文件分成若干个小块，然后将这些小块分别存储在集群中的多台机器上，使得数据可以被并行处理。 MapReduce是一个编程模型，它提供了一种方法来处理大规模数据。它将大型数据集分...
hadoop机架是什么_什么是机架？
cumao2792的博客
09-15 3303
机架是什么 There’s a lot of talk about Rack, but unless you’re a framework author yourself, you rarely see it. So what is Rack? And why, as an application developer, should you care about it? 关于Rack的讨论很多...
Hadoop入门及常用组件介绍
凡眼观世界
03-30 2291
大数据体系架构 hadoop介绍 Hadoop是一个分布式系统基础架构,用户可以在不了解分布式底层细节的情况下，开发分布式程序、搭建大型数据仓库、PB级数据的存储、处理,、分析,、统计等，充分利用集群的威力高速运算和存储。 Hadoop可以分为狭义和广义两种： 狭义的Hadoop只是Hadoop本身,即HDFS+MapReduce。 广义的Hadoop指的是Hadoop生态系统,是一个很庞大的...
简单理解hadoop是什么
qq_45370324的博客
05-10 304
Hadoop是什么？ Hadoop历史版本介绍： 0.x系列版本：hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本 1.x版本系列：hadoop版本当中的第二代开源版本，主要修复0.x版本的一些bug等 2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性 Hadoop1.x版本和2.x版本的区别： Hadoop的框架最核心的设计就是：HDFS和MapReduce HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算 HDFS（Hadoo
什么是Hadoop？
HouGOD的博客
08-29 2538
1）Hadoop 是一个由Apache基金会所开发的分布式系统基础架构2）主要用来解决海量数据的存储和海量数据的分析计算问题3）广义上来说，Hadoop通常是指Hadoop生态圈。
用通俗易懂的话说下hadoop是什么,能做什么
hemeinvyiqiluoben的专栏
05-17 1249
hadoop是什么？ (1)Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任
Hadoop是什么
L_boy18的博客
09-20 1010
                                                                                                                                    What Is Apache Hadoop? The Apache™ Hadoop® project develops open-s...
Hadoop简单介绍
weixin_47748395的博客
08-28 207
1. 大数据 大数据由来： 要解决信息爆炸式增长后带来的收集、检索、统计这些信息的问题，产生的新技术 大数据定义： 大数据指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产是指从各种各样类型的数据中，快速获得有价值的信息。 大数据特性（5V特征）： -数量（volume）（大体量）：可从数百TB到数十数百PB、甚至EB规模 -种类（variety）（多样性）：大数据包括各种格式和形态的数据 -速度
Hadoop 简介
qq_40322236的博客
02-05 5万+
Hadoop 生态圈是指围绕 Hadoop 软件框架为核心而出现的越来越多的相关软件框架，这些软件框架和 Hadoop 框架一起构成了一个生机勃勃的 Hadoop 生态圈
Hadoop到底是什么？
Miracle1203的博客
02-13 499
文章目录1、Hadoop是什么1.1、小故事版本的解释1.2、稍专业点的解释1.3、记住下面的话：2、Hadoop能干什么3、怎么使用Hadoop3.1、Hadoop集群的搭建3.2、上传文件到Hadoop集群，实现文件存储3.3、编写map/reduce程序，完成计算任务 1、Hadoop是什么 1.1、小故事版本的解释 小明接到一个任务：计算一个100M的文本文件中的单词的个数，这个文本文件有...
简单描述Hadoop的优点和技术特点
05-18
Hadoop是一个开源的分布式计算平台，具有以下优点和技术特点： 优点： 1. 高可靠性：Hadoop通过数据备份和故障转移等机制，保证了数据的高可靠性。 2. 高扩展性：Hadoop采用分布式计算模式，可以通过增加节点来提升...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值