- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 HDFS原理总结
HDFS：架构图1.block:文件存储到hdfs上时被切分成若干个数据块，每个block数据块的大小默认128M（hdfs-1.x默认：64M） 如果文件不到128M，则可以单独存成一个block。每一个块都有3个副本（一共三个）存储在datanode 上。3个副本的存储策略：第一个存储在当前机架上的节点选择磁盘不满、cpu不忙的节点，第二个存储 在不同机架上，第三个存储在...
2019-07-24 23:16:15
278
1
原创 spark面试说词
spark简介Spark是专为大规模数据处理而设计的快速通用的计算引擎，在迭代的场景下，spark比MR快10倍以上，spark运行速度快的原因不仅仅是因为spark基于内存计算，同时spark会有DAG有向无环图切割任务，确定任务的执行先后顺序。spark有四种运行模式local：多用于本地测试Standalone：spark自带的一个资源调度框架yarn：Mesos这里提到了sp...
2019-08-29 02:43:24
220
原创 Mapreduce运行原理以及2
Mapreduce运行原理以及2.-x基于yarn的工作原理mapreduce1.x的架构图[外链图片转存失败(img-jwvMayLu-1564076451387)(C:\Users\56361\AppData\Roaming\Typora\typora-user-images\1564069794699.png)] Job Tracker: jobtracker是负责整个资...
2019-07-26 01:45:28
137
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人