![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
Summer8918
这个作者很懒,什么都没留下…
展开
-
小文件转换成SequenceFile
Hadoop的HDFS和MapReduce框架主要是针对大数据文件设计的,在小文件的处理上不但效率低下,而且十分消耗内存资源(每一个小文件占用一个Block,每一个block的元数据都存储在namenode的内存里)。解决办法通常是选择一个容器,将这些小文件组织起来统一存储。HDFS 提供了两种类型的容器,分别是SequenceFile和MapFile。这里介绍如何实现将多个小文件转换成Sequ...原创 2019-11-29 22:49:17 · 274 阅读 · 0 评论 -
hadoop伪分布式环境搭建
实验环境Fedora301安装Java(1)安装OpenJDK 8 JRE,使用命令sudo dnf install java-1.8.0-openjdk(2)安装OpenJDK 8 JDK,使用命令sudo dnf install java-1.8.0-openjdk-develJRE(java runtime environment),JDK( java development k...原创 2019-11-16 21:58:04 · 100 阅读 · 0 评论 -
自定义RecordReader和FileInputformat,将文件名作为Map的输入key,文件内容作为May的输入value
自定义RecordReader和FileInputformat,将文件名作为Map的输入key,文件内容作为May的输入valuepackage com.gopivotal.mapreduce.lib.input;import java.io.IOException;import org.apache.hadoop.fs.FSDataInputStream;import org.apa...翻译 2019-11-11 09:32:34 · 236 阅读 · 0 评论