![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
legendlee110
这个作者很懒,什么都没留下…
展开
-
MapReduce的入门程序-wordCount
需要定义三个类,jobMain类,Mapper类,Reducer类 jobMain类 这个类负责整体的协调运行 package com.legendlee.wordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoo...原创 2018-12-12 15:54:26 · 175 阅读 · 0 评论 -
HDFS的常用的JavaAPI操作
1.获取到hdfs文件系统 有四种方式可以获取到 package com.legendlee.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.had...原创 2018-12-10 20:01:04 · 700 阅读 · 0 评论 -
Hadoop中的压缩和解压缩
1.什么是压缩和解压缩 压缩就是通过某种算法,将原始的文件变下,使原始的文件变小。 解压就是将压缩后的文件变成原始文件的过程。 2.hadoop当中的压缩和解压 1.hadoop当中哪些过程需要用到压缩和解压? hdfs—>map—>shuffle—>reduce map端:压缩后的原始文件首先切成块,然后再解压作为输入文件输入给map端,等map端将数据处理完成后然后再压缩,...原创 2019-01-14 15:23:01 · 3226 阅读 · 0 评论