Hadoop hive spark
hive spark HBASE
input
-》默认从HDFS中读取数据
FileInputFormat
-》将每一行转成keyvalue
-》输出:
<行偏移量,行内容>
key value
0 Hadoop hive spark
17 hive spark HBASE
mapper
-》输入:input输出<LongWritable,Text>
-》map:方法,一行调用一次
针对每一个行进行分割
输出:
key value
Hadoop 1 reduce1
hive 1 reduce2
spark 1 reduce1
hive 1 reduce2
spark 1 reduce1
HBASE 1 reduce1
shuffle:分区,分组,排序
输出:
key value
Hadoop <1>
HBASE <1>
hive <1,1>
spark <1,1>
reduce:
reduce方法:每一条keyvalue调用一次reduce方法
将相同key的值List<value>,进行了相加求和
输入:
key value
Hadoop <1>
HBASE <1>
hive <1,1>
spark <1,1>
输出:
key value
Hadoop 1
HBASE 1
hive 2
spark 2
output:
输出:默认将reduce的输出写入到hdfs
FileOutputFormat