![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS
ukakasu
这个作者很懒,什么都没留下…
展开
-
MapReduce中自定义文件输出名
MR的输出结果默认为part-r-00000,我们可自定义易识别的名字替代part,如score-r-00000 job.setOutputFormatClass(MyOut.class); MyOut.setOutputName(job, "score");//自定义输出名 job.waitForCompletion(true); //自定义My原创 2015-08-05 19:50:55 · 5300 阅读 · 2 评论 -
hdfs小文件的解决方案
小文件的解决方案——应用程序自己控制package small;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.IOException;import java.net.URI;import java.net.URISyntaxE原创 2015-08-02 11:19:15 · 567 阅读 · 0 评论 -
java的api操作HDFS实现递归打印目录并实现在Linux下的显示效果
public class FSTest { public static FileSystem fileSystem; public static void main(String[] args) throws Exception { fileSystem = FileSystem.newInstance(new URI("hdfs://192.168.1.182:9000"),n原创 2015-08-01 21:10:10 · 1161 阅读 · 0 评论 -
hadoop知识点总结
HDFS读流程filesystem类是一个抽象类,其实现类是distributedfilesystem,打开文件时调用其open方法,DFSclient通过rpc协议获取namenode的代理对象,得到块的信息,返回FSdatainputstream对象,通过其read方法连接到datanode读取数据,数据读取完毕时关闭FSdatainputstream。写流程写入文件时调用cr原创 2015-10-24 15:31:25 · 351 阅读 · 0 评论 -
设置Mapper数量与各节点container数量
container数目设置RM的内存资源配置,主要是通过下面的两个参数进行的(这两个值是Yarn平台特性,应在yarn-site.xml中配置好):yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb说明:单个容器可申请的最小与最大内存,应用在运行申请内存时不能超过最大值,小于最小值则分配最小值,从这个角度...原创 2018-04-20 13:45:42 · 4745 阅读 · 0 评论