mysql数据库统计人数_新增访客数量MR统计之MR数据输出到MySQL

承接上一个文档《新增访客数量MR统计之数据库准备》

首先将MR数据输出到MySQL

创建TransformerOutputFormat和ICollector,文件位置如下:

ed479b460a2e136ec77356c9c5eba816.png

完成ICollector的代码

ee3ebcd6228c8ef550997a210415f80c.png

完成TransformerOutputFormat代码如下:

自定义的数据输出格式器,要求: 1. 数据输出到mysql 2. 要体现代码的公用性

a89b8ae2c929c85b6815913cea110b01.png

接着下面的部分

40c370f12c5c968244fad49febb47ac5.png

使用的是FileOutputFormat中默认的方式

c7b86db6afe2420ca2e80de05356a520.png

自定义的具体将reducer输出数据输出到mysql表的输出器

43a8527cda55cca5dac7803111f769b8.png

构造方法

f1e96c695b5b20abac3797c923877667.png

Write方法

b50ecc2dcf82d024996374e6fe991f12.png

Close方法

3cc6111dfa9eab1dd6340cd03ec8e2c1.png

修改Runner类,配置方法加入所需要的配置文件

32a890e19bf779b90370bd847487a888.png

将reduce的输出类型更改为MapWritableValue

job.setOutputValueClass(MapWritableValue.class);

e353419f21b219430aefe8b214d00b8e.png

给定自定义的outputformat类

job.setOutputFormatClass(TransformerOutputFormat.class);

15d184060da65c3768985d2564921cbd.png

如果全改了,可以测试运行下

先看下HDFS上有没有数据

e45ddf0b6eb3c43fb6e805d29850b3c1.png

下载下来查看下

a878b4a5d3f07c2d719017db186dc0da.png

再看下数据库有没有数据,发现有数据,本地环境就没有问题了,现在看下打包到Linux上之后是否有问题。

723a04907aba6fb2f55b0087a86c98d1.png

先打包程序运行一下

afdb1af6cd50e3f7af2fff84c75bd27b.png

4574fece3c36da5a100c1cc717ca28ec.png

5826614dbd954aff57943b7ef04f6cf2.png

5cb563bab4f08e110b3350dee55f74c7.png

4dcb28290836f37af5b1c1d908ccd3de.png

6ebe3b4f954ee64c05035a7080739ab1.png

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值