Kafka->Mysql
做了一个简单的demo,测试从kafka导数据到关系型数据库mysql,首先列出此转换demo流程,加了日志,方便linux控制台打印输出日志
1 kafka
由于是用公司服务器测试跑的,这边我是先在本地布局,再上传到资源库,然后由服务器那边
pan.sh
直接调用,kafka这边上传到资源库就会出如下问题,现在还不知道怎么解决(要改jar包)
2、传输类型
kafka中可以设置offset拉取为最新的,可以手动创建一个生产者进行测试,我这边测试的数据是json格式,获取kafka数据的字段是
Message
,所以对他采用json解析格式
提取有效字段信息
3、打日志
在查验数据流向是否通以及字段内容是否正确的时候我们可以加上写日志的功能,比较直观方便,kettle日志一般是logs目录下的
pid.log
,可以tail -f 监听看到日志变化
4、插入/更新配置
这边主要是对应好数据流中的字段和表中字段对应的映射关系
有一个
提交记录数量
,默认是100,意思就是只有数据量达到100,kettle才会commit到MySQL表中,没有达到100不会提交,表中不会有任何的信息