Hadoop
legendlee110
这个作者很懒,什么都没留下…
展开
-
MapReduce的入门程序-wordCount
需要定义三个类,jobMain类,Mapper类,Reducer类jobMain类这个类负责整体的协调运行package com.legendlee.wordCount;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoo...原创 2018-12-12 15:54:26 · 195 阅读 · 0 评论 -
HDFS的常用的JavaAPI操作
1.获取到hdfs文件系统有四种方式可以获取到package com.legendlee.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.had...原创 2018-12-10 20:01:04 · 739 阅读 · 0 评论 -
Hadoop中的压缩和解压缩
1.什么是压缩和解压缩压缩就是通过某种算法,将原始的文件变下,使原始的文件变小。解压就是将压缩后的文件变成原始文件的过程。2.hadoop当中的压缩和解压1.hadoop当中哪些过程需要用到压缩和解压?hdfs—>map—>shuffle—>reducemap端:压缩后的原始文件首先切成块,然后再解压作为输入文件输入给map端,等map端将数据处理完成后然后再压缩,...原创 2019-01-14 15:23:01 · 3275 阅读 · 0 评论
分享