hadoop
hadoop
键盘上的艺术家w
努力奋斗
展开
-
java.io.IOException: The path component: ‘/data/run‘ in ‘/data/run/hdfs-sockets/dn‘ has permissions
hdfs报错 xception in secureMain java.io.IOException: The path component: '/data/run' in '/data/run/hdfs-sockets/dn' has permissions 0777 uid 0 and gid 0. It is not protected because it is world-writable. This might help: 'chmod o-w /data/run'. For more in.原创 2020-11-10 10:30:44 · 926 阅读 · 0 评论 -
hadoop MapReduce 源码 FileInputFormat 核心方法分析
public List<InputSplit> getSplits(JobContext job) throws IOException { StopWatch sw = new StopWatch().start(); //获取文件的最小值,如果没有配置,就按默认值1 long minSize = Math.max(getFormatMinSplitSiz...原创 2019-03-26 15:14:05 · 241 阅读 · 0 评论 -
Mapreduce 找博客共同好友案例
以下是博客的好友列表数据,冒号前是一个用户,冒号后是该用户的所有好友(数据中的好友关系是单向的) 求出哪些人两两之间有共同好友,及他俩的共同好友都有谁? 输入: A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D1...原创 2019-03-26 15:13:54 · 1063 阅读 · 1 评论