Hadoop生态
DataLiu
大数据技术成长记
展开
-
hadoop的伪分布环境下统计不同部门员工工资的总额,使用MapReduce来实现的详细步骤
实验三:要求请按照部门号,统计不同部门员工工资的总额,使用MapReduce来实现该实验。实验数据如下:在eclipce里面编辑好Hadoop代码打成jar到本地,然后上传到hdfs上,建议上传到[root@WFB ~]# cd /training/hadoop-2.7.3/etc/hadoop/目录下package com.liusong.MR;import org.apache...原创 2019-03-30 14:12:16 · 1579 阅读 · 0 评论 -
Shuffle在MapReduce中低层原理的详细介绍
Shuffle详细介绍一、定义:Flume是一种分布式,可靠且可用的服务,用于有效地收集,聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移和恢复机制,具有强大的容错性。它使用简单的可扩展数据模型,允许在线分析应用程序。二、体系结构:1、source 源头–>数据源–>HDFS2、channel 管道---->数据缓存通道-...原创 2019-04-15 16:36:39 · 237 阅读 · 0 评论