![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
mapreduce
有上进心的阿龙
吃不了自律的苦,就要受平庸的罪!学到老,活到老!
展开
-
06-Hadoop MapReduce Join操作 ReduceJoin案例 思路二[了解]
第二种方式将Order作为key,需要自定义分组比较器 第一种方式是直接将pid作为key,很省力气,直接写就完了 这是第二种方式: 刚才是通过pid作为key来使用,现在直接使用order对象作为key 这里主要是指Mapper的输出KV和Reducer的输入KV 所以,Order类必须实现WritableComparator接口 整体思想还是: 把pid相同的数据进入到同一个reduce,然后再在reduce里面进行reduceJoin操作,只不过第二种方案用的KV对象原创 2021-01-03 17:06:03 · 80 阅读 · 0 评论 -
05-Hadoop MapReduce Join操作 ReduceJoin案例 编写Driver测试
原创 2021-01-03 14:01:26 · 68 阅读 · 0 评论 -
04-Hadoop MapReduce Join操作 ReduceJoin案例 编写Reducer类
那该怎么处理呢?原创 2021-01-03 13:55:28 · 82 阅读 · 1 评论 -
01-Hadoop MapReduce Join操作 ReduceJoin案例实操写好Order类和Mapper类
原创 2021-01-03 12:22:37 · 100 阅读 · 0 评论 -
2020-12-30
重命名表 1)语法 ALTER TABLE table_name RENAME TO new_table_name 将demo4数据库的student表改为student2 更新列 将student表格的属性id 名字改为id2 alter table student change column id id2 int; 增加和替换列 在student表中添加新列age alter table student add columns (age int); 替换age表中的类型为string al原创 2020-12-30 23:09:40 · 161 阅读 · 0 评论 -
08-Hadoop MapReduce 原理 MR源码调试 MapTask流程
原创 2020-12-29 16:49:25 · 99 阅读 · 0 评论 -
05-Hadoop MapReduce 原理 MR源码调试&&Job提交流程
05-Hadoop MapReduce 原理 MR源码调试 准备工作 06-Hadoop MapReduce 原理 MR源码调试 Job提交流程1原创 2020-12-29 10:26:51 · 96 阅读 · 0 评论 -
02-Hadoop MapReduce 原理 OutputFormat介绍&& 自定义OutputFormat案例 编写MR
02-Hadoop MapReduce 原理 OutputFormat介绍 InputFormat里面数据不是由InputFormat读进来的,而是由RecordReader读进来的 同理:OutputFormat的数据也不是由OutputFormat写出去的,是由RecordWriter写出去的。 ...原创 2020-12-27 21:41:09 · 87 阅读 · 0 评论 -
18-Hadoop MapReduce 原理 Combiner介绍
18-Hadoop MapReduce 原理 Combiner介绍原创 2020-12-26 20:23:42 · 137 阅读 · 2 评论 -
Hadoop MapReduce 原理 InputFormat介绍
10-Hadoop MapReduce 原理 InputFormat介绍 有的数据不可以进行切分,原创 2020-12-23 12:50:07 · 101 阅读 · 0 评论