hbase写入mysql,项目实战 -MapReduce将Hbase写入Mysql(三)

上课人数：指标

男生

女生

戴眼镜

不戴眼镜

戴眼镜男生

不戴眼镜男生

戴眼镜女生

不戴眼镜女生

张三男戴眼镜

李四男生不戴眼镜

需求：通过一个MR将所有存在的值都计算出来

map：输入一条记录，输出是K-V键值对的数据

男生张三

戴眼镜张三

戴眼镜男生张三

男生李四

不戴眼镜李四

不戴眼镜男生李四

reduce：

男生张三2

男生李四

戴眼镜张三1

戴眼镜男生张三1

不戴眼镜李四1

不戴眼镜男生李四1

map:

读取到一行记录之后去匹配所有可能存在的key，每一个匹配项可以当做一条输出记录

reduce：

将相同key的数据汇聚到一起，按照名称进行累计求和操作，得到最终的结果

-------------------------------------------------

指标：新增用户

用户基本信息模块：时间

浏览器分析模块：时间，浏览器

可能存在的情况：

时间

时间，浏览器

数据：

20190818张三www.mashibing.comfirefox-48

20190818李四www.mashibing.comfirefox-53

通过一个MR计算所有结果：

map:

key:value:

20190818张三

20190818,firefox-48张三

20190818,firefox-all张三

20190818李四

20190818,firefox-53李四

20190818,firefox-all李四

reduce：

20190818张三2

20190818李四

20190818,firefox-48张三1

20190818,firefox-all张三2

20190818,firefox-all李四

20190818,firefox-53李四1

-------------------------------------------------

指标：新增用户

用户基本信息模块：时间，平台

浏览器分析模块：时间，浏览器，平台

可能存在的情况：

时间

时间，平台

时间，浏览器，平台

数据：

20190818张三www.mashibing.comfirefox-48website

20190818李四www.mashibing.comfirefox-53website

通过一个MR计算所有结果：

map:

key:value:

20190818张三

20190818,website张三

20190818,website-all张三

20190818,firefox-48张三

20190818,firefox-48,website张三

20190818,firefox-48,website-all张三

20190818,firefox-all张三

20190818,firefox-all,website张三

20190818,firefox-all,website-all张三

20190818李四

20190818,website李四

20190818,website-all李四

20190818,firefox-53李四

20190818,firefox-53,website李四

20190818,firefox-53,website-all李四

20190818,firefox-all李四

20190818,firefox-all,website李四

20190818,firefox-all,website-all李四

reduce：

20190818,website张三2

20190818,website李四

20190818,website-all张三2

20190818,website-all李四

20190818,firefox-48张三1

20190818,firefox-48,website张三1

20190818,firefox-48,website-all张三1

20190818,firefox-all张三2

20190818,firefox-all李四

20190818,firefox-all,website张三2

20190818,firefox-all,website李四

20190818,firefox-all,website-all张三2

20190818,firefox-all,website-all李四

20190818,firefox-53李四1

20190818,firefox-53,website李四1

20190818,firefox-53,website-all李四1

-------------------------------------------------

指标：新增用户

用户基本信息模块：时间，平台,user

浏览器分析模块：时间，浏览器，平台,browser

可能存在的情况：

时间user

时间，平台user

时间，浏览器，平台browser

数据：

20190818张三www.mashibing.comfirefox-48website

20190818李四www.mashibing.comfirefox-53website

通过一个MR计算所有结果：

map:

key:value:

20190818,user张三

20190818,website,user张三

20190818,website-all,user张三

20190818,firefox-48,browser张三

20190818,firefox-48,website,browser张三

20190818,firefox-48,website-all,browser张三

20190818,firefox-all,browser张三

20190818,firefox-all,website,browser张三

20190818,firefox-all,website-all,browser张三

20190818,user李四

20190818,website,user李四

20190818,website-all,user李四

20190818,firefox-53,browser李四

20190818,firefox-53,website,browser李四

20190818,firefox-53,website-all,browser李四

20190818,firefox-all,browser李四

20190818,firefox-all,website,browser李四

20190818,firefox-all,website-all,browser李四

reduce：

20190818,website,user张三2

20190818,website,user李四

20190818,website-all,user张三2

20190818,website-all,user李四

20190818,firefox-48,browser张三1

20190818,firefox-48,website,browser张三1

20190818,firefox-48,website-all,browser张三1

20190818,firefox-all,browser张三2

20190818,firefox-all,browser李四

20190818,firefox-all,website,browser张三2

20190818,firefox-all,website,browser李四

20190818,firefox-all,website-all,browser张三2

20190818,firefox-all,website-all,browser李四

20190818,firefox-53,browser李四1

20190818,firefox-53,website,browser李四1

20190818,firefox-53,website-all,browser李四1

------------------

map:

1、读取一条记录，将记录拆分成K-V格式的数据

2、key要求是维度组合(条件组合)

3、value要求是唯一标识一行记录的值

reduce:

1、将相同key的数据汇聚到一起，

2、将不同情况的结果插入到不同的表中

标签：website,firefox,张三,MapReduce,李四,Mysql,Hbase,20190818,browser

来源： https://www.cnblogs.com/bigdata-familyMeals/p/14220688.html