Hadoop
介绍大数据组件相关知识
_小张要敲代码
Life is short,let's Go!
展开
-
MapReduce工作原理图详解
MapReducer工作原理图详解一个刚开始学习大数据的小白,愿意和大家分享所学所得。下面这幅图是我一笔一画制作的,每一步都有标记,详细介绍了MapReducer工作原理。具体的Shuffle流程如下:1)MapTask收集我们的map()方法输出的kv对,放到内存缓冲区中2)从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件3)多个溢出文件会被合并成大的溢出文件4)在溢出过程及...原创 2020-04-16 16:46:55 · 916 阅读 · 0 评论 -
HDFS常见API操作
HDFS常见API操作一个刚开始学习大数据的小白,愿意和大家分享所学所得。1、put:文件上传 对应hadoop fs -put(等同于hadoop fs -copyFromLocal)//上传文件 @Test public void put() throws IOException, InterruptedException { //与hdfs服务器建立...原创 2020-04-15 22:27:41 · 359 阅读 · 0 评论