大数据
文章平均质量分 79
zzw_1024
帝都程序猿。
能力、机遇、环境。
展开
-
基于java和tunnel-sdk的OSS与ODPS之间的数据连通
阿里云平台OSS与ODPS的数据连通的java实现。原创 2017-06-29 17:32:21 · 1567 阅读 · 1 评论 -
Hadoop学习总结之HDFS
HDFS的简介、读数据流程、写数据流程及namenode的checkpoint机制。原创 2017-06-30 17:53:26 · 449 阅读 · 0 评论 -
MapReduce的自定义排序、分区和分组
MapReduce的自定义排序(WritableComparable)自定义分区(Partitioner)自定义分组(GroupingComparator)原创 2017-07-12 20:33:32 · 3434 阅读 · 0 评论 -
MapReduce的shuffle过程图解
主要介绍MapReduce的shuffle,并配图方便理解。原创 2017-07-03 18:29:03 · 907 阅读 · 0 评论 -
MapReduce在YARN上的运行流程
客户端提交mr程序job的流程mr程序在yarn上的运行流程原创 2017-07-28 18:09:13 · 3562 阅读 · 2 评论 -
SparkSQL的3种Join实现
SparkSQL中join的三种方式~转载 2017-07-25 10:52:08 · 425 阅读 · 0 评论