![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
Hadoop知识
LiuDi1999
啦啦啦
展开
-
Hadoop -04 MapReduce介绍
Hadoop-MapReduceMapReduce是一个框架,我们可以使用它来编写应用程序,以可靠的方式并行地处理大量商品硬件群集上的大量数据。什么是MapReduce?MapReduce是一种基于java的分布式计算的处理技术和程序模型。 MapReduce算法包含两个重要任务,即Map和Reduce。Map采用一组数据并将其转换为另一组数据,其中各个元素被分解为元组(键/值对)。其次,reduce任务,它将map的输出作为输入,并将这些数据元组合并成一组较小的元组。作为MapReduce名称的顺序原创 2020-07-07 10:46:59 · 258 阅读 · 0 评论 -
Hadoop-03 Yarn
YARN - ResourceManager负责全局的资源管理和任务调度,把整个集群当成计算资源池,只关注分配,不管应用,且不负责容错资源管理以前资源是每个节点分成一个个的Map slot和Reduce slot,现在是一个个Container,每个Container可以根据需要运行ApplicationMaster、Map、Reduce或者任意的程序。以前的资源分配是静态的,目前是动态的,资源利用率更高Container是资源申请的单位,一个资源申请格式:<resource-name,原创 2020-07-05 16:53:20 · 127 阅读 · 0 评论 -
Hadoop-02 HDFS简介 读写文件
Hadoop - HDFS简介Hadoop Distributed File System,分布式文件系统架构Block数据块基本存储单位,一般大小为64M配置大的块主要原因:减少搜寻时间,一般硬盘传输速率比寻道时间要快,大的块可以减少寻道时间;减少管理块的数据开销,每个块都需要在NameNode上有对应的记录;对数据块进行读写,减少建立网络的连接成本一个大文件会被拆分成一个个的块,然后存储于不同的机器。如果一个文件少于Block大小,那么实际占用的空间为其文件的大小。基本的原创 2020-07-05 14:52:38 · 150 阅读 · 0 评论 -
Hadoop-01 hadoop简介安装配置测试
Hadoop - 简介Hadoop可运行于一般的商用服务器上,具有高容错、高可靠性、高扩展性等特点特别适合写一次,读多次的场景适合大规模数据流式数据(写一次,读多次)商用硬件(一般硬件)不适合低延时的数据访问大量的小文件频繁修改文件(基本就是写1次)Hadoop架构HDFS: 分布式文件存储YARN: 分布式资源管理MapReduce: 分布式计算Others: 利用YARN的资源管理功能实现其他的数据处理方式...原创 2020-07-05 13:00:49 · 1822 阅读 · 1 评论