qq597757066-CSDN博客

原创搭建hadoop集群——克隆主机的ssh后修改

用linux搭建hadoop集群时，我克隆的linux虚拟机本来是已经配置好了ssh免密码登陆的但是克隆后作为另一台机器节点，ssh肯定要重新设置的。所以只要用rm -rf .ssh 删掉原来的ssh秘钥文件，再重新配置与本台主机相应的秘钥即可。[hadoop@djt-s2 ~]$ rm -rf .ssh/[hadoop@djt-s2 ~]$ mkdir .ssh[hadoop@djt-s2 ...

2018-05-26 01:59:13 407

原创 hadoop 中combiner及reduce数据流动过程

public static class ActorCombiner extends Reducer<Text, Text, Text, Text> { private Text text = new Text(); @Override public void reduce(Text key, Iterable<Text> values, Context co...

2018-05-22 23:55:47 276

原创 MapReduce数据经过的流程

先放自己整理的图首先是map的过程：自己测试的结果—————————map———————数据进入—————————————————————————Partitioner分片———————输出开始—————————————————————————Partitioner———————输出完毕—————————————————————————map———————写出完毕——————————————...

2018-05-22 23:09:30 297

原创 hadoop——温度作业和五大视频作业的map输入类型总结

温度作业和五大视频作业的map输入类型总结：/**这里map用的是<LongWritable, Text, Text, IntWritable> 类型而不是<LongWritable,Text,Text,Text>类型，因为需求后面还要求温度的平均值，所以要能运算的Intwritable值，同理五大视频作业自定义5个指标也需要相加，因此在TVWritable这个类放进去...

2018-05-21 15:05:53 134

原创 java中return;的用法

用法：跳出函数的执行，在函数中，如果碰到 return 语句，那么程序就会跳出函数的执行，不再执行后面的语句。public class returndemo { /** * @param args */ public static void main(String[] args) { int i = 1; m1(i); } private static void m1...

2018-05-18 16:17:37 235

原创 Hadoop的Mapreduce中Mapper的key和Map的key的区别

问题：我们知道Mapreduce 是以键值对的方式进行输入输出的，分为Mapper <k,v,k,v>和Reduce<k,v,k,v> ，那么这里的<Key，Value>和JAVA的import java.util.HashMap的Map集合<Key，Value>是不是一个概念呢？我们知道JAVA的Map键值对的key是不可以重复的，而Mapredu...

2018-05-11 22:57:44 1324

原创 Hadoop——解决source not found

找到apache官网下载hadoop-2.6.0-src.tar.gz 找到这个源码包官网地址，下载对应版本 https://archive.apache.org/dist/hadoop/common/然后照网上说的解压这个源码包，再压缩成zip。再在 External location 里面找到你这个zip包，导进去，就看到了源码。网上有一种方法是用hadoop-2.6.0.zip 是安...

2018-05-09 23:37:58 1568 3

qq597757066的博客