hadoop
a790544468
这个作者很懒,什么都没留下…
展开
-
HDFS原理总结
HDFS:架构图1.block:文件存储到hdfs上时被切分成若干个数据块,每个block数据块的大小默认128M(hdfs-1.x默认:64M) 如果文件不到128M,则可以单独存成一个block。每一个块都有3个副本(一共三个)存储在datanode 上。3个副本的存储策略:第一个存储在当前机架上的节点选择磁盘不满、cpu不忙的节点,第二个存储 在不同机架上,第三个存储在...原创 2019-07-24 23:16:15 · 256 阅读 · 1 评论 -
Mapreduce运行原理以及2
Mapreduce运行原理以及2.-x基于yarn的工作原理mapreduce1.x的架构图[外链图片转存失败(img-jwvMayLu-1564076451387)(C:\Users\56361\AppData\Roaming\Typora\typora-user-images\1564069794699.png)] Job Tracker: jobtracker是负责整个资...原创 2019-07-26 01:45:28 · 123 阅读 · 0 评论 -
spark面试说词
spark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎,在迭代的场景下,spark比MR快10倍以上,spark运行速度快的原因不仅仅是因为spark基于内存计算,同时spark会有DAG有向无环图切割任务,确定任务的执行先后顺序。spark有四种运行模式local:多用于本地测试Standalone:spark自带的一个资源调度框架yarn:Mesos这里提到了sp...原创 2019-08-29 02:43:24 · 206 阅读 · 0 评论