![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
qq597757066
这个作者很懒,什么都没留下…
展开
-
Hadoop——解决source not found
找到apache官网下载hadoop-2.6.0-src.tar.gz 找到这个源码包官网地址,下载对应版本 https://archive.apache.org/dist/hadoop/common/然后照网上说的解压这个源码包,再压缩成zip。再在 External location 里面找到你这个zip包,导进去,就看到了源码。网上有一种方法是用hadoop-2.6.0.zip 是安...原创 2018-05-09 23:37:58 · 1578 阅读 · 3 评论 -
hadoop——温度作业和五大视频作业的map输入类型总结
温度作业和五大视频作业的map输入类型总结:/**这里map用的是<LongWritable, Text, Text, IntWritable> 类型 而不是<LongWritable,Text,Text,Text>类型,因为需求后面还要求温度的平均值,所以要 能运算的Intwritable值,同理五大视频作业自定义5个指标也需要相加,因此在TVWritable这个类放进去...原创 2018-05-21 15:05:53 · 136 阅读 · 0 评论 -
搭建hadoop集群——克隆主机的ssh后修改
用linux搭建hadoop集群时,我克隆的linux虚拟机本来是已经配置好了ssh免密码登陆的但是克隆后作为另一台机器节点,ssh肯定要重新设置的。所以只要用rm -rf .ssh 删掉原来的ssh秘钥文件,再重新配置与本台主机相应的秘钥即可。[hadoop@djt-s2 ~]$ rm -rf .ssh/[hadoop@djt-s2 ~]$ mkdir .ssh[hadoop@djt-s2 ...原创 2018-05-26 01:59:13 · 409 阅读 · 0 评论 -
MapReduce数据经过的流程
先放自己整理的图首先是map的过程:自己测试的结果—————————map———————数据进入—————————————————————————Partitioner分片———————输出开始—————————————————————————Partitioner———————输出完毕—————————————————————————map———————写出完毕——————————————...原创 2018-05-22 23:09:30 · 298 阅读 · 0 评论 -
hadoop 中combiner及reduce数据流动过程
public static class ActorCombiner extends Reducer<Text, Text, Text, Text> { private Text text = new Text(); @Override public void reduce(Text key, Iterable<Text> values, Context co...原创 2018-05-22 23:55:47 · 278 阅读 · 0 评论